知財求人 - 知財ポータルサイト「IP Force」
特開2024-82930監視方法、監視システム及び検品済み鉄スクラップ製造方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024082930
(43)【公開日】2024-06-20
(54)【発明の名称】監視方法、監視システム及び検品済み鉄スクラップ製造方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240613BHJP
G01N 21/88 20060101ALI20240613BHJP
C22B 1/00 20060101ALI20240613BHJP
【ＦＩ】
H04N7/18 D
G01N21/88 J
C22B1/00 601
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022197153
(22)【出願日】2022-12-09
(71)【出願人】
【識別番号】000006655
【氏名又は名称】日本製鉄株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100134359
【弁理士】
【氏名又は名称】勝俣 智夫
(74)【代理人】
【識別番号】100188592
【弁理士】
【氏名又は名称】山口 洋
(74)【代理人】
【識別番号】100217249
【弁理士】
【氏名又は名称】堀田 耕一郎
(74)【代理人】
【識別番号】100221279
【弁理士】
【氏名又は名称】山口 健吾
(74)【代理人】
【識別番号】100207686
【弁理士】
【氏名又は名称】飯田 恭宏
(74)【代理人】
【識別番号】100224812
【弁理士】
【氏名又は名称】井口 翔太
(72)【発明者】
【氏名】平野 弘二
(72)【発明者】
【氏名】立溝 信之
【テーマコード（参考）】
2G051
4K001
5C054
【Ｆターム（参考）】
2G051AA90
2G051AB20
2G051AC21
2G051CA04
2G051EA14
2G051EB10
4K001AA10
4K001BA22
4K001CA02
5C054CA04
5C054CC02
5C054CF06
5C054EA01
5C054EA05
5C054EA07
5C054FC01
5C054FC12
5C054FC14
5C054FC15
5C054FC16
5C054FD07
5C054FE05
5C054FE06
5C054FE12
5C054GB01
5C054HA19
(57)【要約】
【課題】撮影されたスクラップ群の画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることを可能にすること。
【解決手段】所定の加工が行われる前の鉄スクラップを撮影する撮影ステップと、撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、を有する監視方法である。
【選択図】図１
【解決手段】所定の加工が行われる前の鉄スクラップを撮影する撮影ステップと、撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、を有する監視方法である。
【選択図】図１
【特許請求の範囲】
【請求項1】
所定の加工が行われる前の鉄スクラップを撮影する撮影ステップと、
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、を有する監視方法。
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、を有する監視方法。
【請求項2】
前記所定の加工は、鉄スクラップになる前の用途における物体の形状を判別可能な状態で残している物を、所定の基準で判別が難しくなる状態に変形させる加工である、請求項１に記載の監視方法。
【請求項3】
所定の加工が行われる前の鉄スクラップを撮影する撮影部と、
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力部と、
を備える監視システム。
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力部と、
を備える監視システム。
【請求項4】
所定の加工が行われる前の鉄スクラップを撮影する撮影ステップと、
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、
前記禁忌物特定ステップにおいて特定された前記禁忌物を前記鉄スクラップから除去して検品済み鉄スクラップを生成する禁忌物除去ステップと、を有する検品済み鉄スクラップ製造方法。
撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、
前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、
前記禁忌物特定ステップにおいて特定された前記禁忌物を前記鉄スクラップから除去して検品済み鉄スクラップを生成する禁忌物除去ステップと、を有する検品済み鉄スクラップ製造方法。
【請求項5】
前記禁忌物特定ステップにおいて禁忌物を特定できなかった場合は、前記鉄スクラップを検品済み鉄スクラップとする、請求項４に記載の検品済み鉄スクラップ製造方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視方法、監視システム及び検品済み鉄スクラップ製造方法に関する。
【背景技術】
【0002】
近年、地球温暖化問題を背景としてＣＯ２排出量を削減する必要性から、鉄鋼業においては現在主要な製法である高炉法に代わり、電炉法が注目されている。電炉法の主原料は鉄スクラップであるが、銅などのトランプエレメントが混入すると自動車向け鋼板などの高級鋼製造時に割れ等の不良品を発生させる要因になる。またガスボンベなどの密閉物が混入していると電炉内で爆発を引き起こす危険性がある。そのため、鉄スクラップからトランプエレメント含有物や密閉物などを除去する技術が重要である。
【0003】
特許文献１には、破砕後の鉄スクラップ群をカラーテレビカメラで撮影し、彩度値と色相角値をもとに銅を含有した破砕片を自動識別する技術が開示されている。しかしながら、特許文献１に記載の技術は、検知可能な対象物が銅に限定されている。加えて、モーターのように銅線が内包され外から見えない対象物は検知できない。
【0004】
特許文献２には、トラックの荷台に積載されたスクラップ群をカメラで撮影し、人工知能により撮影データに禁忌物（除去すべき対象物）が映っているか否かを判断し、禁忌物が映っているならば作業者にその旨を知らせ除去させる方法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平７－２５３４００号公報
【特許文献2】特開２０２０－１７６９０９号公報
【非特許文献】
【0006】
【非特許文献1】Joseph Redmon、他３名、“You Only Look Once: Unified, Real-Time Object Detection”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1506.02640〉
【非特許文献2】Olaf Ronneberger、他２名、“U-Net：Convolutional Networks for Biomedical Image Segmentation”［令和３年５月１８日検索］、インターネット〈URL:https://arxiv.org/abs/1505.04597〉
【非特許文献3】Samet Akcay、他２名、“GANomaly：Semi-Supervised Anomaly Detection via Adversarial Training”[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1805.06725〉
【非特許文献4】Paul Bergmann、他４名、“Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders”、[令和３年５月１８日検索]、インターネット〈https://arxiv.org/abs/1807.02011〉
【非特許文献5】Paolo Napoletano、他２名、“Anomaly Detection in Nanofibrous Materials by CNN-Based Self-Similarity”、[令和３年５月１８日検索]、インターネット〈https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5795842/〉
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献２は、トラックの荷台上にある鉄スクラップ群が静止した状態での撮影を前提としている。そのため、鉄スクラップ群を撮影するカメラの画角内に、撮影の邪魔となるリフトマグネットが映っていないタイミングで、静止した状態の鉄スクラップ群を撮影する。リフトマグネットがカメラの画角から外れていることの確認は、位置センサ、作業者、もしくは人工知能により行う。この確認ステップを経て、カメラによる撮影、人工知能による禁忌物有無の判定処理、判定結果の作業者への表示が行われる。
【0008】
このような特許文献２の方法では荷台上のスクラップ群の表面から少し奥に入った物体などは画像に映りにくく、たとえ映ったとしても認識し難いため、禁忌物を見逃す場合がある。そのため、禁忌物の有無の判定処理の精度が低下してしまうおそれがあった。
【0009】
本発明は、上記事情に鑑みてなされたものである。すなわち、撮影されたスクラップ群の画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることが可能となる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
（１）本発明の一態様は、所定の加工が行われる前の鉄スクラップを撮影する撮影ステップと、撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、を有する監視方法である。
【0011】
（２）本発明の一態様は、上記（１）に記載の監視方法であって、前記所定の加工は、鉄スクラップになる前の用途における物体の形状を判別可能な状態で残している物を、所定の基準で判別が難しくなる状態に変形させる加工である。
【0012】
（３）本発明の一態様は、所定の加工が行われる前の鉄スクラップを撮影する撮影部と、撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定部と、前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力部と、を備える監視システムである。
【0013】
（４）本発明の一態様は、所定の加工が行われる前の鉄スクラップを撮影する撮影ステップと、撮影により得られた画像と推定モデルとを用いて、前記鉄スクラップにおいて除去する対象となる禁忌物が含まれるか否かを示す情報を特定する禁忌物特定ステップと、前記禁忌物特定ステップにおいて禁忌物が含まれると特定された場合に、そのことを示す情報を出力する出力ステップと、前記禁忌物特定ステップにおいて特定された前記禁忌物を前記鉄スクラップから除去して検品済み鉄スクラップを生成するステップと、を有する検品済み鉄スクラップ製造方法である。
【0014】
（５）本発明の一態様は、上記（４）に記載の検品済み鉄スクラップ製造方法であって、前記禁忌物特定ステップにおいて禁忌物を特定できなかった場合は、前記鉄スクラップを検品済み鉄スクラップとする。
【発明の効果】
【0015】
本発明によれば、撮影されたスクラップ群の画像を用いて禁忌物の有無を判定する処理において、判定精度を向上させることが可能となる。
【図面の簡単な説明】
【0016】
【図1】本実施形態に係る監視システムの適用例を示す図である。
【図2】撮影装置が３つのカメラにより構成されている例を示す図である。
【図3】禁忌物検出装置の機能構成例を示すブロック図である。
【図4A】鉄スクラップの存在領域を示した図である。
【図4B】鉄スクラップの存在領域を矩形で示した図である。
【図5】リフトマグネットの磁力強度に応じて鉄スクラップの存在領域のサイズを変更した例を示す図である。
【図6】学習済モデルの生成に用いられる学習データの一例を示す図である。
【図7】本実施形態に係る学習済モデル生成処理を説明するためのフローチャートである。
【図8】本実施形態に係る禁忌物検出処理を説明するためのフローチャートである。
【図9】運搬中の未検品鉄スクラップを追従した撮影を行う場合の構成例を示す図である。
【図10】運搬装置をベルトコンベアとした場合の例を示す図である。
【図11】本実施形態および変形例における禁忌物検出装置のハードウェア構成の一例を示すブロック図である。
【図12】実施例１によりリフトマグネットの運搬によって禁忌物が露出し、検出に成功した例を示す図である。
【発明を実施するための形態】
【0017】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0018】
［１．概要］
まず、図１を参照して、本発明の一実施形態の概要を説明する。図１は、本実施形態に係る監視システム１の適用例を示す図である。図１に示すように、監視システム１は、鉄スクラップを監視するシステムであって、例えば、鉄スクラップヤードで用いられる。処理の対象となる鉄スクラップには、主に鉄が多く含まれるものの、鉄以外の物質（例えば銅などの鉄以外の金属）を多く含む物体も含まれる。これらの物質が禁忌物の具体例となる。工場、市中などで発生した鉄スクラップは、トラック２によって鉄スクラップヤードに搬入されると、リフトマグネットなどの運搬装置１０を用いて検品済み鉄スクラップ積載場３まで運搬（荷下ろし）される。監視システム１において監視の対象となる鉄スクラップは、例えば市中スクラップであってもよいし、自家発生スクラップであってもよい。市中スクラップは、製鉄施設以外の場所で発生した鉄スクラップである。市中スクラップの具体例として、橋、ビル、自動車等の物が解体されることによって生じる鉄スクラップがある。市中スクラップには、例えば自動車工場や船工場等の生産工場において生じる鉄スクラップが含まれてもよい。市中スクラップは、所定の回収者によってトラック２等の移動体を用いて回収され、監視システム１が設置された鉄スクラップヤードに搬入される。同様に、自家発生スクラップも、トラック２等の移動体を用いて回収され、監視システム１が設置された鉄スクラップヤードに搬入される。
まず、図１を参照して、本発明の一実施形態の概要を説明する。図１は、本実施形態に係る監視システム１の適用例を示す図である。図１に示すように、監視システム１は、鉄スクラップを監視するシステムであって、例えば、鉄スクラップヤードで用いられる。処理の対象となる鉄スクラップには、主に鉄が多く含まれるものの、鉄以外の物質（例えば銅などの鉄以外の金属）を多く含む物体も含まれる。これらの物質が禁忌物の具体例となる。工場、市中などで発生した鉄スクラップは、トラック２によって鉄スクラップヤードに搬入されると、リフトマグネットなどの運搬装置１０を用いて検品済み鉄スクラップ積載場３まで運搬（荷下ろし）される。監視システム１において監視の対象となる鉄スクラップは、例えば市中スクラップであってもよいし、自家発生スクラップであってもよい。市中スクラップは、製鉄施設以外の場所で発生した鉄スクラップである。市中スクラップの具体例として、橋、ビル、自動車等の物が解体されることによって生じる鉄スクラップがある。市中スクラップには、例えば自動車工場や船工場等の生産工場において生じる鉄スクラップが含まれてもよい。市中スクラップは、所定の回収者によってトラック２等の移動体を用いて回収され、監視システム１が設置された鉄スクラップヤードに搬入される。同様に、自家発生スクラップも、トラック２等の移動体を用いて回収され、監視システム１が設置された鉄スクラップヤードに搬入される。
【0019】
トラック２によって搬入されたばかりの鉄スクラップには、製鉄メーカーによって受け入れ禁止となっている禁忌物が混入している可能性がある。このため、鉄の製造等に再利用する前に搬入された鉄スクラップを検品し、禁忌物が混ざっていれば当該鉄スクラップから除去する必要がある。ここで、禁忌物には、銅などの非鉄成分を含むモーター、溶鋼に投入すると爆発の恐れがあるガスボンベなどが含まれる。また、以下では、検品前の鉄スクラップを未検品鉄スクラップ４、検品後の鉄スクラップを検品済み鉄スクラップ５と称する場合がある。
【0020】
そこで、本実施形態に係る監視システム１は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４を撮影し、撮影された画像を用いて検品を行う。具体的には、本実施形態に係る監視システム１は、機械学習や深層学習などの学習処理の技術を用いて、鉄スクラップ中に含まれる禁忌物を検出できる学習済モデルをあらかじめ作成しておく。学習済モデルは、禁忌物の有無に関する値を出力する。学習済モデルは、禁忌物の種類、禁忌物の位置、検出された物が禁忌物である確率を出力してもよい。未検品鉄スクラップ４を撮影して新たに取得した画像をこの学習済モデルに入力したとき、画像から禁忌物が検出された場合（例えば画像中の物体が禁忌物である確率が所定の閾値を超えた場合）には、オペレータにその旨を通知して、禁忌物の除去を促す。
【0021】
なお、本実施形態に係る監視システム１は、別視点又は別タイミングで複数回撮影して得られた画像（例えば、別タイミングで連続的に撮影する場合は１秒に３０枚程度）を上記学習済モデルに逐次入力して、その都度、禁忌物を検出してもよい。この場合、本実施形態に係る監視システム１は、トラック２の荷台上で禁忌物の検出を一度しか行わない特許文献２に比べ、禁忌物を発見できる確率が上がる。別視点での撮影としては、例えばトラック２の荷台に置かれた状態の未検品鉄スクラップ４の撮影と、運搬装置１０で運搬されている状態の未検品鉄スクラップ４の撮影と、が行われてもよい。また、それぞれの状態の未検品スクラップ４が、視点の異なる複数のカメラを用いて撮影されてもよい。例えば、運搬されている状態の未検品鉄スクラップ４が、視点の異なる複数のカメラによって撮影されてもよい。
【0022】
以下、本実施形態に係る監視システム１について詳細に説明する。
【0023】
［２．監視システム１全体の構成］
図１に示すとおり、本実施形態に係る監視システム１は、運搬装置１０と、撮影装置２０と、禁忌物検出装置３０と、を備える。
図１に示すとおり、本実施形態に係る監視システム１は、運搬装置１０と、撮影装置２０と、禁忌物検出装置３０と、を備える。
【0024】
（運搬装置１０）
運搬装置１０は、鉄スクラップヤード内の所定位置に停車したトラック２の荷台から、検品済み鉄スクラップ積載場３まで、未検品鉄スクラップ４を運搬する。図１に示す例では、運搬装置１０は、リフトマグネット１１と、クレーン１２と、クレーンレール１３と、運搬制御部１４と、操作部１５と、を備え、磁力によって未検品鉄スクラップ４を吊り上げて運搬可能である。ただし、本発明は係る例に限定されず、運搬装置１０は、例えばベルトコンベア、アーム、重機のような機械装置であってもよく、未検品鉄スクラップ４をトラック２の荷台から検品済み鉄スクラップ積載場３まで運搬できるのであればどのような形態でもよい。
運搬装置１０は、鉄スクラップヤード内の所定位置に停車したトラック２の荷台から、検品済み鉄スクラップ積載場３まで、未検品鉄スクラップ４を運搬する。図１に示す例では、運搬装置１０は、リフトマグネット１１と、クレーン１２と、クレーンレール１３と、運搬制御部１４と、操作部１５と、を備え、磁力によって未検品鉄スクラップ４を吊り上げて運搬可能である。ただし、本発明は係る例に限定されず、運搬装置１０は、例えばベルトコンベア、アーム、重機のような機械装置であってもよく、未検品鉄スクラップ４をトラック２の荷台から検品済み鉄スクラップ積載場３まで運搬できるのであればどのような形態でもよい。
【0025】
リフトマグネット１１は、筐体内部に磁力を発生する装置を備え、その磁力の強弱を制御することにより、磁性を有する未検品鉄スクラップ４の吸着と吸着解除を行う。クレーン１２は、リフトマグネット１１をワイヤー等により吊下げ可能な構造を有しており、リフトマグネット１１を昇降させる。クレーンレール１３は、図１の紙面奥行方向と左右方向にクレーン１２を移動させることが可能なレールを有している。そのため、クレーン１２は、クレーンレール１３に沿って移動し、鉄スクラップヤードの特定の範囲内であれば位置を自由に変更できる。運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１の磁力の強弱と、クレーン１２の昇降および位置とを制御する。操作部１５は、オペレータによる操作を受け付ける操作機構（例えば、操作パネル）を有しており、オペレータの操作に基づきリフトマグネット１１とクレーン１２を制御するための指示（信号）を運搬制御部１４に送信する。
【0026】
（撮影装置２０）
撮影装置２０は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４を撮影部で撮影する。これを撮影ステップとする。図１に示す例では、撮影装置２０は、単一のカメラにより構成され、連続的に異なるタイミングで複数回撮影することで動画を作成する。ただし、撮影装置２０は、複数のカメラにより構成され、それぞれのカメラが別視点で複数回撮影することで、複数の静止画を作成してもよい。また、鉄スクラップ４は運搬装置１０を介して基本的には動き続けており、複数のカメラは運搬中の鉄スクラップ４を撮影対象とする。
なお、それぞれのカメラが別視点で複数回撮影することとは、複数のカメラを異なる場所に設置し、各々のカメラが時系列的に複数のタイミングで鉄スクラップを撮影することをいう。あるいはカメラが１つの場合は、鉄スクラップに対する撮影装置の位置を変更ながら撮影したり、撮影倍率を変更しながら撮影したりしてもよい。
また、別タイミングで複数回撮影することとは、時系列的に複数のタイミングで鉄スクラップを撮影することをいう。なお、カメラが複数台の場合、各カメラの撮影のタイミングは一致していてもよく、また、一致していなくてもよい。
撮影装置２０は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４を撮影部で撮影する。これを撮影ステップとする。図１に示す例では、撮影装置２０は、単一のカメラにより構成され、連続的に異なるタイミングで複数回撮影することで動画を作成する。ただし、撮影装置２０は、複数のカメラにより構成され、それぞれのカメラが別視点で複数回撮影することで、複数の静止画を作成してもよい。また、鉄スクラップ４は運搬装置１０を介して基本的には動き続けており、複数のカメラは運搬中の鉄スクラップ４を撮影対象とする。
なお、それぞれのカメラが別視点で複数回撮影することとは、複数のカメラを異なる場所に設置し、各々のカメラが時系列的に複数のタイミングで鉄スクラップを撮影することをいう。あるいはカメラが１つの場合は、鉄スクラップに対する撮影装置の位置を変更ながら撮影したり、撮影倍率を変更しながら撮影したりしてもよい。
また、別タイミングで複数回撮影することとは、時系列的に複数のタイミングで鉄スクラップを撮影することをいう。なお、カメラが複数台の場合、各カメラの撮影のタイミングは一致していてもよく、また、一致していなくてもよい。
【0027】
図２は、撮影装置２０が３つのカメラにより構成されている例を示す図である。図２の上図は、鉄スクラップヤードを側面から見た図であり、図２の下図は鉄スクラップヤードを上から見た図である。図２に示すとおり、撮影装置２０は、トラック２の荷台の上方に設けられた第１カメラ２０ａと、リフトマグネット１１の下方から未検品鉄スクラップ４を別視点で撮影可能な位置に設けられた第２カメラ２０ｂ、第３カメラ２０ｃとにより構成されてもよい。もちろん、撮影装置２０が複数のカメラにより構成される場合であっても、それぞれのカメラが動画を作成するようにしてもよい。なお、撮影装置２０で作成された動画、又は複数の静止画は、禁忌物検出装置３０に出力される。
【0028】
（禁忌物検出装置３０）
図１に戻り、禁忌物検出装置３０は、撮影装置２０から得られた画像（静止画、動画を含む）に含まれている禁忌物を検出し、その検出結果をオペレータに通知する。これを実現するために、図１に示す例では、禁忌物検出装置３０は、検出制御部３１と、出力部３２とを備えている。
図１に戻り、禁忌物検出装置３０は、撮影装置２０から得られた画像（静止画、動画を含む）に含まれている禁忌物を検出し、その検出結果をオペレータに通知する。これを実現するために、図１に示す例では、禁忌物検出装置３０は、検出制御部３１と、出力部３２とを備えている。
【0029】
（検出制御部３１）
検出制御部３１は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影させ、動画、又は複数の静止画を取得する。検出制御部３１は、取得した複数の画像（すなわち、動画、又は複数の静止画）を学習済モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率を逐次特定する。そして、検出制御部３１は、特定された禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信する。
検出制御部３１は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影させ、動画、又は複数の静止画を取得する。検出制御部３１は、取得した複数の画像（すなわち、動画、又は複数の静止画）を学習済モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率を逐次特定する。そして、検出制御部３１は、特定された禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信する。
【0030】
以下、検出制御部３１の変形例について説明する。変形例では、撮影装置２０が単一のカメラにより構成される場合を扱う。前述の通り、本実施形態では、単一のカメラが連続的に異なるタイミングで複数回撮影を実施し学習済モデルの処理にかけることで、それぞれのカメラ、タイミングに対し禁忌物の種類、位置、および禁忌物である確率が出力される。ここで、現在時刻での禁忌物である確率は、現在時刻での禁忌物である確率および、現在時刻より過去の複数タイミングでの禁忌物である確率の関数として算出した後、禁忌物か否かを判断するための所定の閾値と比較してもよい。例えば、現在時刻からの隔たりが所定の時間範囲に入る複数タイミングでの禁忌物である複数の確率の平均（後方移動平均）、あるいは最大値や最小値などとして算出してもよい。後方移動平均を取ると過検知を抑制することができる。すなわち、あるタイミングで禁忌物以外の物体に対し学習済モデルがたまたま禁忌物である確率が高いと誤って判断を下した場合であっても、過去の複数タイミングで禁忌物である確率を低いと正しく出力していたならば後方移動平均値は低く抑えられることができる。これにより、禁忌物をより正確に特定することが可能となる。
【0031】
また図２のように複数のカメラ構成を用いる場合には、ある時点でのある禁忌物である確率を、当該時点の複数のカメラ画像に対する学習済モデルを用いた処理の結果として得られる、複数の当該禁忌物である確率の関数として算出した後、禁忌物か否かを判断するための所定の閾値と比較してもよい。具体的には、例えば、当該時点の複数のカメラに対する当該禁忌物である確率の和として算出してもよい。この積算処理は未検知抑制に効果的である。すなわち、未検品鉄スクラップの搬送過程においては、あるカメラの画像には禁忌物の一部しか映らず、もう一つの別のカメラの画像でもやはり禁忌物の一部しか映らない状況が起こりえる。このような場合に、カメラ毎に禁忌物である確率を算出すると、禁忌物が一部しか映らなくなり、禁忌物である確率が低くなり、禁忌物か否かを判断するための所定の閾値を超えずに未検知となる。一方で、上述のように、各カメラに対する当該禁忌物である確率を積算すれば、積算値が所定の閾値を上回ることで、検知可能となる。なお積算においては、単純な和を取るのではなく、各カメラに重み係数を与え、重み付き和を取ってもよい。各カメラ画像から得られる禁忌物である確率は、カメラと未検品鉄スクラップとの距離等に影響を受け、各カメラ間で信頼度に差が生じるが、この補正を狙うものである。一例として、この信頼度の差をカメラと未検品鉄スクラップとの距離等で指標化し、それらを係数にした重み付き和を取ってもよい。
【0032】
また禁忌物である確率の算出については、上記でそれぞれ述べた、時間方向の複数タイミングにおける確率の処理と、複数カメラに対する確率の処理とを組合せてもよい。例えば上記で述べた、２つ以上のカメラに禁忌物の一部ずつが映るという現象は、あるカメラに禁忌物の一部が映った後で、別のカメラに禁忌物の一部が映るという時差が生じることがある。この場合、各々の１タイミングで複数カメラに対する禁忌物である確率を積算するだけでは、全てのタイミングに対し、禁忌物か否かを判断するための所定の閾値を超えずに未検知となってしまう。一方、時間方向の複数タイミングにおける確率の処理まで組み合わせれば、たとえ上述の時差があったとしてもその影響を吸収し、検知することができる。
【0033】
（出力部３２）
出力部３２は、検出制御部３１から送信された情報を出力する。すなわち、出力部３２は、禁忌物特定手順で禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類および、位置をそれぞれ出力する。また、出力部３２は、禁忌物の検出に用いた画像（後述する図６に示す元画像）、および検出結果の画像（図６に示すマーキング画像、矩形生成画像）を併せて出力してもよい。また、出力部３２は、学習済モデルにより特定された禁忌物である確率を合わせて出力してもよい。
出力部３２は、検出制御部３１から送信された情報を出力する。すなわち、出力部３２は、禁忌物特定手順で禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類および、位置をそれぞれ出力する。また、出力部３２は、禁忌物の検出に用いた画像（後述する図６に示す元画像）、および検出結果の画像（図６に示すマーキング画像、矩形生成画像）を併せて出力してもよい。また、出力部３２は、学習済モデルにより特定された禁忌物である確率を合わせて出力してもよい。
【0034】
このような出力部３２は、文字列、画像等を表示するディスプレイであってもよいし、音声を出力するスピーカであってもよい。なお、出力部３２は、禁忌物検出装置３０と一体的に設けられてもよいし、禁忌物検出装置３０とは離れた位置に独立して設けてもよい。これにより、出力部３２の出力を受けたオペレータは、未検品鉄スクラップ４に禁忌物が混入しているおそれがあることを容易かつ正確に知ることができ、適宜、禁忌物を未検品鉄スクラップ４から除去できる。
【0035】
以上のような構成により、本実施形態１に係る監視システム１は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４、もしくは運搬装置１０により運搬中の未検品鉄スクラップ４に対して撮影し、撮影して得られた複数の画像（動画、又は複数の静止画）を用いて、未検品鉄スクラップ４の検品を行う。
【0036】
［３．禁忌物検出装置３０の機能構成］
次に、禁忌物検出装置３０の機能構成について説明する。図３は、禁忌物検出装置３０の機能構成例を示すブロック図である。
次に、禁忌物検出装置３０の機能構成について説明する。図３は、禁忌物検出装置３０の機能構成例を示すブロック図である。
【0037】
図３に示すように、上述した禁忌物検出装置３０の検出制御部３１は、画像取得部３１０と、領域抽出部３１１、禁忌物特定部３１２と、判定部３１３とを、有する。
【0038】
（画像取得部３１０）
画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影手順を繰り返し、複数の画像（動画、又は複数の静止画）を取得する。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、領域抽出部３１１又は禁忌物特定部３１２へ出力する。
画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影手順を繰り返し、複数の画像（動画、又は複数の静止画）を取得する。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、領域抽出部３１１又は禁忌物特定部３１２へ出力する。
【0039】
（領域抽出部３１１）
領域抽出部３１１は、撮影装置２０の撮影により得られた複数の画像（所定サイズに変換された画像）から、それぞれ禁忌物が含まれている可能性のある領域（以下、「鉄スクラップの存在領域」と称する）を抽出する。鉄スクラップの存在領域とは、運搬中の鉄スクラップが存在する領域のことであり、例えば、運搬開始場所（具体的にはトラックの荷台など）におけるスクラップの表面や、運搬終了場所におけるスクラップの表面、運搬中の鉄スクラップのことである。
例えば、領域抽出部３１１は、学習済モデルなどを用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。
複数の画像を入力画像として学習済モデル（周知のＹＯＬＯｖ３（非特許文献１））に入力すると、オペレータが注目していない運搬中の鉄スクラップ以外のものを異物として検知したり、既に検品が終了したスクラップ中の異物に反応したりするので実用的ではない。そこで、「鉄スクラップの存在領域」の抽出として、物体検出モデルを使用して、リフトマグネットと鉄スクラップの領域を特定し、抽出された鉄スクラップの存在領域を異物検出モデルに適用してもよい。また、リフトマグネット等の運搬部の座標をオペレータの操作情報から取得し、予めどの座標であれば画像中のどこの位置に運搬部や鉄スクラップが存在するかの対応付け情報を準備しておき、その対応付け情報に基づき、鉄スクラップの存在領域を抽出してもよい。また、時系列的に連続する複数の画像の情報から「鉄スクラップの存在領域」を検出してもよい。これにより、禁忌物特定部３１２において誤検知を防ぐことができると同時に処理時間も短くなる。また、学習済モデルは、例えば、ニューラルネットワーク等のディープラーニング（深層学習）によって生成された学習済みモデルであってもよい。ディープラーニングの手法としては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）などの多層のニューラルネットワークを適用することができるが、これに限定されるものではない。
領域抽出部３１１は、撮影装置２０の撮影により得られた複数の画像（所定サイズに変換された画像）から、それぞれ禁忌物が含まれている可能性のある領域（以下、「鉄スクラップの存在領域」と称する）を抽出する。鉄スクラップの存在領域とは、運搬中の鉄スクラップが存在する領域のことであり、例えば、運搬開始場所（具体的にはトラックの荷台など）におけるスクラップの表面や、運搬終了場所におけるスクラップの表面、運搬中の鉄スクラップのことである。
例えば、領域抽出部３１１は、学習済モデルなどを用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。
複数の画像を入力画像として学習済モデル（周知のＹＯＬＯｖ３（非特許文献１））に入力すると、オペレータが注目していない運搬中の鉄スクラップ以外のものを異物として検知したり、既に検品が終了したスクラップ中の異物に反応したりするので実用的ではない。そこで、「鉄スクラップの存在領域」の抽出として、物体検出モデルを使用して、リフトマグネットと鉄スクラップの領域を特定し、抽出された鉄スクラップの存在領域を異物検出モデルに適用してもよい。また、リフトマグネット等の運搬部の座標をオペレータの操作情報から取得し、予めどの座標であれば画像中のどこの位置に運搬部や鉄スクラップが存在するかの対応付け情報を準備しておき、その対応付け情報に基づき、鉄スクラップの存在領域を抽出してもよい。また、時系列的に連続する複数の画像の情報から「鉄スクラップの存在領域」を検出してもよい。これにより、禁忌物特定部３１２において誤検知を防ぐことができると同時に処理時間も短くなる。また、学習済モデルは、例えば、ニューラルネットワーク等のディープラーニング（深層学習）によって生成された学習済みモデルであってもよい。ディープラーニングの手法としては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）などの多層のニューラルネットワークを適用することができるが、これに限定されるものではない。
【0040】
図４Ａは、鉄スクラップの存在領域を示した図である。図４Ａに示すように、鉄スクラップの存在領域は、ピクセル毎に定められた領域とする。このように鉄スクラップの存在領域の画像のみを用いて禁忌物特定部３１２で禁忌物を特定するようにすれば、禁忌物特定部３１２が禁忌物を探索する画像領域が限定されるため処理時間を短縮することができる。
なお領域抽出部３１１で鉄スクラップの存在領域を抽出する学習済モデルに入力される画像は、禁忌物特定部３１２で用いる学習済モデルに入力される画像と比べて低解像度でよく、従って処理時間も短い。よって、領域抽出部３１１が無い場合と比較した際に、領域抽出部３１１を追加することで全体の処理時間が長くなることはない。
なお領域抽出部３１１で鉄スクラップの存在領域を抽出する学習済モデルに入力される画像は、禁忌物特定部３１２で用いる学習済モデルに入力される画像と比べて低解像度でよく、従って処理時間も短い。よって、領域抽出部３１１が無い場合と比較した際に、領域抽出部３１１を追加することで全体の処理時間が長くなることはない。
【0041】
また、図４Ｂは、鉄スクラップの存在領域を矩形で示した図である。図４Ｂに示すように、領域抽出部３１１は、鉄スクラップの存在領域を矩形で表現した矩形情報（例えば、矩形の位置を示す座標データ）を出力する学習済モデルを用いて、スクラップの存在領域を特定し、禁忌物特定部３１２に出力してもよい。このとき、領域抽出部３１１から禁忌物特定部３１２へは、元画像と鉄スクラップの存在領域に対応する矩形情報をセットとして出力してもよいし、矩形情報をもとに鉄スクラップの存在領域を元画像から切り取った画像のみ出力してもよい。
【0042】
また、領域抽出部３１１は、未検品鉄スクラップ４がリフトマグネット１１によって運搬されている場合、禁忌物特定部３１２へ出力する鉄スクラップの存在領域を、リフトマグネット１１の磁力強度に応じて、その領域サイズを変更してもよい。具体的には、領域抽出部３１１は、あらかじめリフトマグネット１１の特徴を学習させた学習済モデルなどを用いて、画像中のリフトマグネット１１の位置を特定後、そのリフトマグネット１１の直下に、リフトマグネット１１の磁力強度に応じたサイズの矩形領域を鉄スクラップの存在領域として設定すればよい。リフトマグネット１１の磁力強度変更については、内部に電磁石を備えた電磁式のリフトマグネットを用いて、電磁石に流れる電流量を制御することで磁力強度を調整することができる。なお、鉄スクラップの存在領域サイズは、リフトマグネット１１の磁力強度でなく、リフトマグネット１１に吊られた荷物の荷重（吊り荷重量）に応じて変更してもよい。この場合、吊り荷重量は、公知の計測手段（例えば、ロードセル等）を用いて計測することが可能である。以降では、説明を簡単にするために、磁力強度に応じて鉄スクラップの存在領域サイズを変更する場合の例について説明する。
【0043】
図５は、リフトマグネット１１の磁力強度に応じて鉄スクラップの存在領域のサイズを変更した例を示す図である。図５の左図に示すように、リフトマグネット１１の磁力強度が弱いときは、リフトマグネット１１に吸着している未検品鉄スクラップ４は少ないため、鉄スクラップの存在領域は相対的に小さく設定される。一方で、図５の右図に示すように、リフトマグネット１１の磁力強度が強いときは、リフトマグネット１１に吸着している未検品鉄スクラップ４が多くなるため、鉄スクラップの存在領域は相対的に大きく設定される。
【0044】
以上説明してきた鉄スクラップの存在領域の抽出方法は、複数のタイミングで撮影される画像それぞれに対し、独立に適用できるものであるが、鉄スクラップの存在領域の抽出方法にはタイミングの異なる複数の画像を用いることもできる。例えば、領域抽出部３１１は、禁忌物特定部３１２へ出力する鉄スクラップの存在領域を、動体検知によって移動中の物体存在領域として抽出してもよい。これは、検品作業をとらえるカメラ画像において、リフトマグネット等の搬送器具およびそれが搬送している鉄スクラップが動く一方、カメラに映るその他物体は全て静止している、との性質を利用するものであり、動体検知によって搬送器具および鉄スクラップ領域が抽出される。動体検知の方法としては、現時点の画像と少し前の画像との差分の画像を求め、値の大きい部分を抽出するといった公知の技術を用いることができる。こうして抽出された領域を禁忌物特定部３１２に出力する。なおこの抽出領域のうち搬送器具の部分には禁忌物が含まれる可能性はない。そこで、別の画像処理（予め取得された搬送器具の画像パターンとのマッチング等）で搬送器具の部分を特定し、この部分を除いた上で禁忌物特定部３１２に出力してもよい。
【0045】
なお、領域抽出部３１１は、機械学習や深層学習などの技術は用いずに、画像中の所定の位置、所定のサイズの領域を鉄スクラップの存在領域として設定してもよい。
また、領域抽出部３１１を設けず、画像取得部３１０で取得された画像をそのまま禁忌物特定部３１２に出力してもよい。
また、領域抽出部３１１を設けず、画像取得部３１０で取得された画像をそのまま禁忌物特定部３１２に出力してもよい。
【0046】
（禁忌物特定部３１２）
図３に戻り、禁忌物特定ステップで、禁忌物特定部３１２は、画像取得部３１０により取得された複数の画像（所定サイズに変換された画像、もしくは領域抽出部３１１により抽出された領域の画像）を、学習済モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する。また、禁忌物を検出した時に禁忌物の位置を特定することで、オペレータが当該画像内における禁忌物の場所を目視で即座に確認することが出来る。これにより、オペレータは画像上で禁忌物の位置を短時間で判別でき、監視方法、監視システムの精度をより高めることが出来る。
本実施形態において、ディスプレイには運搬中の鉄スクラップが映し出されており、運搬中の鉄スクラップに対して禁忌物の位置、確率、種類をさらに表示させている。そのため、オペレータはどのような種類の禁忌物がどの位置に存在しているのか、精度よく把握することができる。
なお、禁忌物の位置を表示するとは、例えば禁忌物が存在する領域を枠で囲むこととしてもよい。また、禁忌物の種類を表示するとは、例えば、予め設定された禁忌物の種類ごとに枠の色や形状等を変更したり、テキストで禁忌物の種類を表示したりしてもよい。また、禁忌物の確率を表示するとは、例えば、枠で囲まれた領域に禁忌物が存在する確率を数値でディスプレイに表示することとしても良い。なお、運搬中の鉄スクラップをディスプレイに表示させるため、撮像装置が取得した鉄スクラップの画像を随時ディスプレイに表示させることとしてもよい。なお、本実施形態において、禁忌物の位置および種類に加えて、禁忌物の確率を出力ステップで出力しているが、禁忌物の位置および種類のみを出力することとしてもよい。
禁忌物の種類の設定の仕方としては、例えば、モーター、ガスボンベ、というように禁忌物が利用される際の機能に応じた設定とすることができるが、これに限られるものではない。例えば、モーター、ガスボンベ、その他の禁忌物を全てまとめて１種類として扱ってもよい。この場合、禁忌物の種類としては１つになる（例えば「禁忌物」との１種類）。モーター、ガスボンベなど種類を細分化するのと比較して、得られる情報は少なくなるが、除去すべき禁忌物が存在するとの最低限出力すべき情報は出力することができる。また、禁忌物の種類の設定の仕方は組合せも考えられる。例えば、禁忌物特定部３１２における学習済モデルの出力では、モーター、ガスボンベなど種類を細分化しておくが、出力部３２における出力では、全ての禁忌物を１種類にまとめた形で出力することもできる。
図３に戻り、禁忌物特定ステップで、禁忌物特定部３１２は、画像取得部３１０により取得された複数の画像（所定サイズに変換された画像、もしくは領域抽出部３１１により抽出された領域の画像）を、学習済モデル（機械学習により学習済みの学習モデル）に入力して、禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する。また、禁忌物を検出した時に禁忌物の位置を特定することで、オペレータが当該画像内における禁忌物の場所を目視で即座に確認することが出来る。これにより、オペレータは画像上で禁忌物の位置を短時間で判別でき、監視方法、監視システムの精度をより高めることが出来る。
本実施形態において、ディスプレイには運搬中の鉄スクラップが映し出されており、運搬中の鉄スクラップに対して禁忌物の位置、確率、種類をさらに表示させている。そのため、オペレータはどのような種類の禁忌物がどの位置に存在しているのか、精度よく把握することができる。
なお、禁忌物の位置を表示するとは、例えば禁忌物が存在する領域を枠で囲むこととしてもよい。また、禁忌物の種類を表示するとは、例えば、予め設定された禁忌物の種類ごとに枠の色や形状等を変更したり、テキストで禁忌物の種類を表示したりしてもよい。また、禁忌物の確率を表示するとは、例えば、枠で囲まれた領域に禁忌物が存在する確率を数値でディスプレイに表示することとしても良い。なお、運搬中の鉄スクラップをディスプレイに表示させるため、撮像装置が取得した鉄スクラップの画像を随時ディスプレイに表示させることとしてもよい。なお、本実施形態において、禁忌物の位置および種類に加えて、禁忌物の確率を出力ステップで出力しているが、禁忌物の位置および種類のみを出力することとしてもよい。
禁忌物の種類の設定の仕方としては、例えば、モーター、ガスボンベ、というように禁忌物が利用される際の機能に応じた設定とすることができるが、これに限られるものではない。例えば、モーター、ガスボンベ、その他の禁忌物を全てまとめて１種類として扱ってもよい。この場合、禁忌物の種類としては１つになる（例えば「禁忌物」との１種類）。モーター、ガスボンベなど種類を細分化するのと比較して、得られる情報は少なくなるが、除去すべき禁忌物が存在するとの最低限出力すべき情報は出力することができる。また、禁忌物の種類の設定の仕方は組合せも考えられる。例えば、禁忌物特定部３１２における学習済モデルの出力では、モーター、ガスボンベなど種類を細分化しておくが、出力部３２における出力では、全ての禁忌物を１種類にまとめた形で出力することもできる。
【0047】
なお、ここで用いる学習モデルとしては、特に限定するものではないが、非特許文献１と非特許文献２に示すような画像中の物体の種類、位置およびその物体である確率を出力する機械学習モデルとしてもよいし、非特許文献３－５のように正常な画像を学習し正常からのズレを異常として検知する機械学習モデルとしてもよいし、禁忌物の形状パターンを人があらかじめ設定して検出するパターンマッチングなどの画像処理技術が用いられてもよい。非特許文献１－５では、毎回の判定の際、学習済モデルへ入力される画像の数は１枚であるが、時系列的に連続する複数の画像を入力し、それらを総合的に判断して、物体の種類、位置およびその物体である確率を出力させてもよい。以下の説明では、学習済モデルへ入力される画像の数は１枚として説明する。
【0048】
（判定部３１３）
判定部３１３は、禁忌物特定部３１２により特定された禁忌物である確率が所定の閾値を超えているか否かを判定する。そして、判定部３１３は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信する。
判定部３１３は、禁忌物特定部３１２により特定された禁忌物である確率が所定の閾値を超えているか否かを判定する。そして、判定部３１３は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信する。
【0049】
また、禁忌物検出装置３０は、図３に示すように、モデル生成部３３と、モデル出力部３４と、データ記憶部３５とを、さらに有していてもよい。
【0050】
（モデル生成部３３）
モデル生成部３３は、撮影装置２０で撮影された未検品鉄スクラップ４の画像から禁忌物の種類、位置、および禁忌物である確率を特定する単数あるいは複数の学習済モデルを生成する。
モデル生成部３３は、撮影装置２０で撮影された未検品鉄スクラップ４の画像から禁忌物の種類、位置、および禁忌物である確率を特定する単数あるいは複数の学習済モデルを生成する。
【0051】
モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の画像と、その画像に含まれていた禁忌物の種類および位置を表す情報とが関連付けられた複数のデータを学習データとして、機械学習により、画像中の禁忌物の種類、位置、および禁忌物である確率を特定するモデルを生成する。
【0052】
図６は、学習済モデルの生成に用いられる学習データ（教師データ）の一例を示す図である。モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の画像（図６の上図に示す元画像）と、その元画像中において禁忌物が存在している正解の領域を特定し得るラベルデータ（図６の中図、下図に示す画像）とを、学習データのセットとして用いる。例えば、図６の中図に示すように、予め、元画像に対して人が禁忌物の存在している領域を判定して、禁忌物全体にラベル付け（マーキング）した画像を学習データのセットとして用いる。なお、学習時には人がつけた正解のラベルデータに対して禁忌物である確率が所定の基準値以上（例えば、１００％）となるように最適化の目的関数を設定して学習する。
【0053】
なお、ここで用いるラベルデータとしては、元画像データ（図６の上図）中における禁忌物の位置をマーキングしたマーキング画像データ（図６の中図）であってもよい。このとき、マーキングした禁忌物の種類を表す情報として、あらかじめ禁忌物ごとに振り分けた輝度値を用いることができる。例えば、０～２５５段階の輝度値で表されるグレースケール画像をマーキング画像として用いる場合、モーターを輝度５０、ガスボンベを輝度１００でマーキングするなどして、禁忌物の種類を各画素の輝度値で区別できるようにしてもよい。もちろん、禁忌物の位置を表す情報としては、禁忌物として振り分けた輝度値を有する画素の座標を用いればよい。
【0054】
また、ラベルデータとして、図６の下図のように画像中の禁忌物の周囲を囲うように作成した矩形情報などを含むテキストデータとしてもよい。例えば、このテキストデータには、禁忌物の位置として矩形の座標データを用い、禁忌物の種類としてその矩形内の禁忌物を識別可能な情報を用いればよい。
【0055】
上記で用いる元画像データには、例えば、ｊｐｇ、ｂｍｐ、ｐｎｇ等の形式が用いられ、テキストデータには、ｔｘｔ、ｊｓｏｎ、ｘｍｌなどの形式が用いられる。
【0056】
また、モデル生成部３３は、禁忌物を含まない正常の鉄スクラップを撮影したときの画像を学習データとして学習してもよい。この手法では、非特許文献２－４のように、禁忌物を含まない正常な鉄スクラップの画像を複数枚用いて、正常な鉄スクラップを表現するための特徴を機械学習モデルに学習させる。このように正常な鉄スクラップを学習して生成された学習済みのモデルに、禁忌物が含まれている画像が入力されたときは、異常として異常部位と異常度が出力される。このモデルを採用する場合、オペレータに出力する禁忌物である確率には、その異常度をベースとした値を使用する。例えば、異常度の値が０．０～１．０の範囲に入るように規格化し、その異常度を禁忌物である確率と見做す。
【0057】
なお、図３に示すように、モデル生成部３３は、後述するデータ記憶部３５から、学習データを取得する。モデル生成部３３によるモデル生成処理の詳細については後述する。
【0058】
（モデル出力部３４）
モデル出力部３４は、モデル生成部３３により生成された学習済モデルを出力する。例えば、モデル出力部３４は、モデル生成部３３により生成された学習済モデルを、禁忌物特定部３１２において禁忌物の種類、位置、および禁忌物である確率を特定するときに用いることが可能なように、禁忌物特定部３１２へ出力する。
モデル出力部３４は、モデル生成部３３により生成された学習済モデルを出力する。例えば、モデル出力部３４は、モデル生成部３３により生成された学習済モデルを、禁忌物特定部３１２において禁忌物の種類、位置、および禁忌物である確率を特定するときに用いることが可能なように、禁忌物特定部３１２へ出力する。
【0059】
（データ記憶部３５）
データ記憶部３５は、モデル生成部３３が学習済モデルを生成する際に用いる学習データを記憶する記憶装置である。データ記憶部３５は、撮影装置２０により撮影して得られた全ての画像を記憶しておいてもよいし、学習データとして用いる予定の画像のみを記憶しておいてもよい。
データ記憶部３５は、モデル生成部３３が学習済モデルを生成する際に用いる学習データを記憶する記憶装置である。データ記憶部３５は、撮影装置２０により撮影して得られた全ての画像を記憶しておいてもよいし、学習データとして用いる予定の画像のみを記憶しておいてもよい。
【0060】
以上、本実施形態に係る監視システム１の構成について説明した。なお、図１および図３に示す監視システム１の各装置の構成は一例であり、複数の装置の機能を１つの装置が備えてもよく、１つの装置に含まれる複数の機能を異なる装置で実施するように構成することも可能である。
【0061】
［４．学習済モデル生成処理］
以下、本実施形態に係る監視システム１の動作について説明する。最初に、監視システム１において実施される学習済モデル生成処理について説明する。図７は、本実施形態に係る学習済モデル生成処理を説明するためのフローチャートである。
以下、本実施形態に係る監視システム１の動作について説明する。最初に、監視システム１において実施される学習済モデル生成処理について説明する。図７は、本実施形態に係る学習済モデル生成処理を説明するためのフローチャートである。
【0062】
モデル生成部３３は、監視システム１を用いて鉄の製造等に再利用する鉄スクラップの検品を実施する前に、あらかじめユーザからの指示に基づき学習済モデル生成処理を開始する。もしくは、モデル生成部３３は、定期的に学習済モデル生成処理を実行してもよい。
【0063】
（Ｓ１１０：学習データ取得）
本実施形態の学習モデルの学習条件は、モデル条件、データセット条件及び学習設定条件を含む。モデル条件は、ニューラルネットワークの構造に関する条件である。データセット条件は、学習中にニューラルネットワークに入力する学習データの選択条件、それらデータの前処理や画像の拡張方法の条件等を含む。学習設定条件は、重みやバイアスといったニューラルネットワークのパラメータの初期化条件や最適化方法の条件、損失関数の条件等を含む。ここで、損失関数の条件には正則化関数の条件も含まれる。
図７に示すように、学習済モデル生成処理を開始すると、まず、モデル生成部３３は、撮影装置２０により撮影された画像から鉄スクラップ中に含まれている禁忌物を検出することが可能な学習済モデルの生成に必要な学習データを、データ記憶部３５から取得する（Ｓ１１０）。例えば、モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の元画像と、その元画像中に含まれていた禁忌物の種類および位置を表す情報とが関連付けられた複数のデータを、学習データとして取得する。
本実施形態の学習モデルの学習条件は、モデル条件、データセット条件及び学習設定条件を含む。モデル条件は、ニューラルネットワークの構造に関する条件である。データセット条件は、学習中にニューラルネットワークに入力する学習データの選択条件、それらデータの前処理や画像の拡張方法の条件等を含む。学習設定条件は、重みやバイアスといったニューラルネットワークのパラメータの初期化条件や最適化方法の条件、損失関数の条件等を含む。ここで、損失関数の条件には正則化関数の条件も含まれる。
図７に示すように、学習済モデル生成処理を開始すると、まず、モデル生成部３３は、撮影装置２０により撮影された画像から鉄スクラップ中に含まれている禁忌物を検出することが可能な学習済モデルの生成に必要な学習データを、データ記憶部３５から取得する（Ｓ１１０）。例えば、モデル生成部３３は、撮影装置２０により撮影された過去の未検品鉄スクラップ４の元画像と、その元画像中に含まれていた禁忌物の種類および位置を表す情報とが関連付けられた複数のデータを、学習データとして取得する。
【0064】
ここで、禁忌物の位置および種類を表す情報としては、禁忌物全体にラベル付け（マーキング）したマーキング画像（図６の中図）であってもよいし、禁忌物を含む矩形領域にラベル付け（矩形生成）した矩形生成画像（図６の下図）であってもよい。また、段落［００５６］で述べた方法に対応して、禁忌物が含まれていない正常な未検品鉄スクラップ４の画像を学習データとして用いてもよい。なお、ステップＳ１１０において取得する学習データは、禁忌物特定部３１２で禁忌物の検出に用いる画像と同一の撮影装置２０により撮影された画像であることが望ましいが、異なる撮影装置２０により撮影された画像であってもよい。また、学習データに用いる画像としては、未検品鉄スクラップ４に紛れている実際の禁忌物を撮影して得た画像が望ましいが、インターネットなどで取得可能な禁忌物の画像（モーターのカタログ画像など）であってもよい。
【0065】
（Ｓ１２０：モデル生成）
次いで、モデル生成部３３は、ステップＳ１１０により取得した学習データを用いて、機械学習によって、禁忌物を検出可能な学習済モデルを生成する（Ｓ１２０）。
次いで、モデル生成部３３は、ステップＳ１１０により取得した学習データを用いて、機械学習によって、禁忌物を検出可能な学習済モデルを生成する（Ｓ１２０）。
【0066】
モデル生成部３３で生成される学習済モデルには、次の２通りが想定されるがどちらを用いてもよい。一つ目は、禁忌物が含まれている画像（図６の上図の元画像）と、その画像中において禁忌物が存在している正解の領域を特定し得るデータ（図６の中図、下図に示す画像）とが関連付けられた複数のデータを学習データとして、画像中の禁忌物の特徴を学習し、検出時に禁忌物の種類、位置、および禁忌物である確率を算出する第１学習済モデルである。二つ目は、禁忌物が含まれていない正常な未検品鉄スクラップ４の画像を学習データとして、正常な鉄スクラップ全体の特徴を学習し、検出時には未検品鉄スクラップ４に禁忌物が含まれているときのみ異常として、その異常部位と異常度を算出する第２学習済モデルである。
【0067】
・第１学習済モデル
第１学習済モデルを生成する場合は、モデル生成部３３は、データ記憶部３５から取得した禁忌物が含まれている画像（図６の上図の元画像）を第１学習モデル（学習途中の学習モデル）に入力し、その第１学習モデルが出力する禁忌物の位置（領域）が、禁忌物が存在している正解の位置（図６の中図、下図に示す画像の禁忌物の位置）に近づくように、また禁忌物の種類とその禁忌物である確率が所定の基準値以上（例えば、１００％）となるように、第１学習モデルを最適化する。これにより第１学習済モデルが生成される。この形式の第１学習済モデルを禁忌物の検出に用いる場合、禁忌物の種類、禁忌物の位置（領域）を示す座標データ、確信度を示す確率の値が第１学習済モデルから出力される（例えば非特許文献１）。
第１学習済モデルを生成する場合は、モデル生成部３３は、データ記憶部３５から取得した禁忌物が含まれている画像（図６の上図の元画像）を第１学習モデル（学習途中の学習モデル）に入力し、その第１学習モデルが出力する禁忌物の位置（領域）が、禁忌物が存在している正解の位置（図６の中図、下図に示す画像の禁忌物の位置）に近づくように、また禁忌物の種類とその禁忌物である確率が所定の基準値以上（例えば、１００％）となるように、第１学習モデルを最適化する。これにより第１学習済モデルが生成される。この形式の第１学習済モデルを禁忌物の検出に用いる場合、禁忌物の種類、禁忌物の位置（領域）を示す座標データ、確信度を示す確率の値が第１学習済モデルから出力される（例えば非特許文献１）。
【0068】
・第２学習済モデル
一方、第２学習済モデルを生成する場合は、モデル生成部３３は、データ記憶部３５から取得した禁忌物が含まれていない正常な未検品鉄スクラップ４の画像を第２学習モデル（学習途中の学習モデル）に入力し、正常な鉄スクラップ全体の特徴を学習する。このとき、生成される第２学習済モデルが未検品鉄スクラップ４に禁忌物が含まれていないことを表現（出力）できるように第２学習モデルを最適化する。この場合、禁忌物が含まれた画像が第２学習済モデルに入力された際の禁忌物の位置および禁忌物である確率の算出には、第２学習済モデルに入力した画像と、第２学習済モデルから出力された画像との差分画像又は異常度を用いる（例えば非特許文献３）。上記の第２学習済モデルは、機械学習モデルに正常な特徴を学習させ、異常が含まれる画像から異常の部位や異常度を算出するモデルの一例であり、非特許文献２のようなアルゴリズムに限られない（例えば非特許文献４、５）。
一方、第２学習済モデルを生成する場合は、モデル生成部３３は、データ記憶部３５から取得した禁忌物が含まれていない正常な未検品鉄スクラップ４の画像を第２学習モデル（学習途中の学習モデル）に入力し、正常な鉄スクラップ全体の特徴を学習する。このとき、生成される第２学習済モデルが未検品鉄スクラップ４に禁忌物が含まれていないことを表現（出力）できるように第２学習モデルを最適化する。この場合、禁忌物が含まれた画像が第２学習済モデルに入力された際の禁忌物の位置および禁忌物である確率の算出には、第２学習済モデルに入力した画像と、第２学習済モデルから出力された画像との差分画像又は異常度を用いる（例えば非特許文献３）。上記の第２学習済モデルは、機械学習モデルに正常な特徴を学習させ、異常が含まれる画像から異常の部位や異常度を算出するモデルの一例であり、非特許文献２のようなアルゴリズムに限られない（例えば非特許文献４、５）。
【0069】
モデル生成部３３は、機械学習により学習済モデル（第１学習済モデル又は第２学習済モデル）を生成すると、その学習済モデルをモデル出力部３４へ出力する。
【0070】
（Ｓ１３０：モデル出力）
モデル出力部３４は、ステップＳ１２０にて生成された学習済モデルを、禁忌物特定部３１２へ出力する（Ｓ１３０）。
モデル出力部３４は、ステップＳ１２０にて生成された学習済モデルを、禁忌物特定部３１２へ出力する（Ｓ１３０）。
【0071】
その後、モデル出力部３４は、学習済モデル生成処理を終了する。禁忌物検出装置３０は、上記のような学習済モデル生成処理を実行することにより、鉄スクラップ群の表面から少し奥に禁忌物が入っている場合であっても従来よりも正確に禁忌物の有無を判定できる学習済モデルを生成できる。
【0072】
なお、上記の実施形態では、禁忌物検出装置３０が学習済モデル生成処理を実行するものとして説明しているが、これに限定されない。禁忌物検出装置３０とは別の独立した装置が、モデル生成部３３、モデル出力部３４、およびデータ記憶部３５の一部又は全てを有し、学習済モデル生成処理を実行してもよい。この場合、禁忌物検出装置３０は、学習済みの学習済モデルをその別の独立した装置から取得し、後述する禁忌物検出処理を実行すればよい。
【0073】
［５．禁忌物検出処理］
次に、監視システム１において実施される禁忌物検出処理について説明する。図８は、本実施形態に係る禁忌物検出処理を説明するためのフローチャートである。
次に、監視システム１において実施される禁忌物検出処理について説明する。図８は、本実施形態に係る禁忌物検出処理を説明するためのフローチャートである。
【0074】
検出制御部３１は、鉄スクラップヤード内の所定位置にトラック２が停車した後、ユーザからの指示に基づき禁忌物検出処理を開始する。
【0075】
（Ｓ２１０：画像取得）
図８に示すように、禁忌物検出処理を開始すると、まず、画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影させ、複数の画像（動画、又は複数の静止画）を取得する（Ｓ２１０）。なお、未検品鉄スクラップ４の撮影は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４に対して行ってもよいし、運搬装置１０により運搬中の未検品鉄スクラップ４に対して行ってもよい。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、逐次、領域抽出部３１１へ出力する。
図８に示すように、禁忌物検出処理を開始すると、まず、画像取得部３１０は、撮影装置２０を制御して、未検品鉄スクラップ４に対して別視点又は別タイミングで複数回撮影させ、複数の画像（動画、又は複数の静止画）を取得する（Ｓ２１０）。なお、未検品鉄スクラップ４の撮影は、トラック２の荷台に置かれた状態の未検品鉄スクラップ４に対して行ってもよいし、運搬装置１０により運搬中の未検品鉄スクラップ４に対して行ってもよい。画像取得部３１０は、撮影装置２０より取得した画像を適切な所定サイズに変換し、逐次、領域抽出部３１１へ出力する。
【0076】
（Ｓ２２０：領域抽出）
ここで、ステップＳ２１０で取得した画像は、未検品鉄スクラップ４を含む検品作業現場全体が画角に入る画像であるが、図４Ａ又は図４Ｂに示すように、領域抽出部３１１は、禁忌物が含まれている可能性のある領域（鉄スクラップの存在領域）を、ステップＳ２１０で取得した画像から抽出する。例えば、領域抽出部３１１は、学習済モデルなどを用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。ここで、鉄スクラップの存在領域は、ピクセル毎に定められた領域としてもよいし、単純な矩形により定められた領域としてもよい。なお、ステップＳ２２０の処理は省略可能であり、その場合は、画像取得部３１０が、取得した画像を直接禁忌物特定部３１２へ出力すればよい。
ここで、ステップＳ２１０で取得した画像は、未検品鉄スクラップ４を含む検品作業現場全体が画角に入る画像であるが、図４Ａ又は図４Ｂに示すように、領域抽出部３１１は、禁忌物が含まれている可能性のある領域（鉄スクラップの存在領域）を、ステップＳ２１０で取得した画像から抽出する。例えば、領域抽出部３１１は、学習済モデルなどを用いて鉄スクラップの存在領域を特定し、特定した鉄スクラップの存在領域のみを抽出して禁忌物特定部３１２へ出力する。ここで、鉄スクラップの存在領域は、ピクセル毎に定められた領域としてもよいし、単純な矩形により定められた領域としてもよい。なお、ステップＳ２２０の処理は省略可能であり、その場合は、画像取得部３１０が、取得した画像を直接禁忌物特定部３１２へ出力すればよい。
【0077】
（Ｓ２３０：禁忌物特定）
次いで、禁忌物特定部３１２は、領域抽出部３１１から出力された複数の画像を、上述した学習済モデル生成処理でモデル生成部３３が生成した学習済モデルに入力して、禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する（Ｓ２３０）。このとき、禁忌物特定部３１２は、画像から１つでも禁忌物を特定できた場合には（Ｓ２３０：ＹＥＳ）、学習済モデルから出力された禁忌物の種類、位置、および禁忌物である確率を判定部３１３に出力して、処理をステップＳ２４０に進める。一方で、禁忌物特定部３１２は、画像から１つも禁忌物を特定できなかった場合には（Ｓ２３０：ＮＯ）、処理をステップＳ２７０に進める。
次いで、禁忌物特定部３１２は、領域抽出部３１１から出力された複数の画像を、上述した学習済モデル生成処理でモデル生成部３３が生成した学習済モデルに入力して、禁忌物の種類、位置、および禁忌物である確率をそれぞれ特定する（Ｓ２３０）。このとき、禁忌物特定部３１２は、画像から１つでも禁忌物を特定できた場合には（Ｓ２３０：ＹＥＳ）、学習済モデルから出力された禁忌物の種類、位置、および禁忌物である確率を判定部３１３に出力して、処理をステップＳ２４０に進める。一方で、禁忌物特定部３１２は、画像から１つも禁忌物を特定できなかった場合には（Ｓ２３０：ＮＯ）、処理をステップＳ２７０に進める。
【0078】
（Ｓ２４０：判定）
判定部３１３は、禁忌物特定部３１２より禁忌物の種類、位置、禁忌物である確率などの情報を受け取ると、禁忌物である確率が所定の閾値（例：８０％）を超えているか否か判定する（Ｓ２４０）。このとき、判定部３１３は、禁忌物である確率が所定の閾値を超えている場合には（Ｓ２４０：ＹＥＳ）、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信して、処理をステップＳ２５０に進める。一方で、判定部３１３は、禁忌物である確率が所定の閾値以下である場合には（Ｓ２４０：ＮＯ）、処理をステップＳ２７０に進める。
判定部３１３は、禁忌物特定部３１２より禁忌物の種類、位置、禁忌物である確率などの情報を受け取ると、禁忌物である確率が所定の閾値（例：８０％）を超えているか否か判定する（Ｓ２４０）。このとき、判定部３１３は、禁忌物である確率が所定の閾値を超えている場合には（Ｓ２４０：ＹＥＳ）、その禁忌物の種類、位置、および禁忌物である確率を、それぞれ出力部３２に送信して、処理をステップＳ２５０に進める。一方で、判定部３１３は、禁忌物である確率が所定の閾値以下である場合には（Ｓ２４０：ＮＯ）、処理をステップＳ２７０に進める。
【0079】
（Ｓ２５０：判定結果出力）
出力部３２は、判定部３１３から出力された出力結果を受け取ると、オペレータ（検品作業者）に対し、その出力結果を出力する（Ｓ２５０）。このように、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率をそれぞれ出力しているため、必要なときに限って禁忌物の除去をオペレータに促している。上記のような閾値を設けずに、判定部３１３の結果を無選別にオペレータに連続的に出力することは、オペレータの集中力を低下させるなど、安全上好ましくない。また、ステップＳ２５０では、出力部３２は、禁忌物の検出の際に学習済モデルに入力された画像（図６の上図に示す元画像）、およびその学習済モデルから出力されたラベル付きの画像（図６の中図に示すマーキング画像、図６の下図に示す矩形生成画像に示すような形式）を併せて出力してもよい。
なお、本実施形態において、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率をそれぞれ出力している場合について説明したが、これに限られない。出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、および位置をそれぞれ出力するものとし、禁忌物である確率を必ずしも出力する必要はない。
出力部３２は、判定部３１３から出力された出力結果を受け取ると、オペレータ（検品作業者）に対し、その出力結果を出力する（Ｓ２５０）。このように、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率をそれぞれ出力しているため、必要なときに限って禁忌物の除去をオペレータに促している。上記のような閾値を設けずに、判定部３１３の結果を無選別にオペレータに連続的に出力することは、オペレータの集中力を低下させるなど、安全上好ましくない。また、ステップＳ２５０では、出力部３２は、禁忌物の検出の際に学習済モデルに入力された画像（図６の上図に示す元画像）、およびその学習済モデルから出力されたラベル付きの画像（図６の中図に示すマーキング画像、図６の下図に示す矩形生成画像に示すような形式）を併せて出力してもよい。
なお、本実施形態において、出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、位置、および禁忌物である確率をそれぞれ出力している場合について説明したが、これに限られない。出力部３２は、禁忌物である確率が所定の閾値を超えたときに、その禁忌物の種類、および位置をそれぞれ出力するものとし、禁忌物である確率を必ずしも出力する必要はない。
【0080】
（Ｓ２６０：禁忌物除去）
出力部３２の出力を受けたオペレータは、未検品鉄スクラップ４に禁忌物が混入しているおそれがあることを知ると、未検品鉄スクラップ４に含まれている禁忌物の除去を行う（Ｓ２６０）。これにより、未検品鉄スクラップ４から禁忌物が除去された検品済み鉄スクラップ５が生成される。ここでの除去の作業は、一度地面に禁忌物を含む鉄スクラップ群を広げ、人手、重機、ロボットなどを用いて除去される。除去後、オペレータの操作に従って、除去作業の終了を検出制御部３１へ通知し、検出制御部３１は、処理をステップＳ２７０に進める。
出力部３２の出力を受けたオペレータは、未検品鉄スクラップ４に禁忌物が混入しているおそれがあることを知ると、未検品鉄スクラップ４に含まれている禁忌物の除去を行う（Ｓ２６０）。これにより、未検品鉄スクラップ４から禁忌物が除去された検品済み鉄スクラップ５が生成される。ここでの除去の作業は、一度地面に禁忌物を含む鉄スクラップ群を広げ、人手、重機、ロボットなどを用いて除去される。除去後、オペレータの操作に従って、除去作業の終了を検出制御部３１へ通知し、検出制御部３１は、処理をステップＳ２７０に進める。
【0081】
（Ｓ２７０：運搬作業）
処理がステップＳ２７０に進むと、例えば、出力部３２は、オペレータに運搬作業の開始、継続、もしくは再開を促す通知を行う。運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１とクレーン１２を制御して、未検品鉄スクラップ４の運搬を開始、継続、もしくは再開する。禁忌物を特定できなかった場合（Ｓ２３０：ＮＯ）や、特定できたとしても禁忌物である確率が所定の閾値を超えなかった場合（Ｓ２４０：ＮＯ）は、オペレータへ何の通知も表示もなすことなく、運搬作業を継続することが可能である。この場合は禁忌物特定ステップ（Ｓ２３０）を終えた鉄スクラップ４がそのまま（禁忌物が除去されずに）検品済の鉄スクラップ５となる。
処理がステップＳ２７０に進むと、例えば、出力部３２は、オペレータに運搬作業の開始、継続、もしくは再開を促す通知を行う。運搬制御部１４は、操作部１５からの指示に基づき、リフトマグネット１１とクレーン１２を制御して、未検品鉄スクラップ４の運搬を開始、継続、もしくは再開する。禁忌物を特定できなかった場合（Ｓ２３０：ＮＯ）や、特定できたとしても禁忌物である確率が所定の閾値を超えなかった場合（Ｓ２４０：ＮＯ）は、オペレータへ何の通知も表示もなすことなく、運搬作業を継続することが可能である。この場合は禁忌物特定ステップ（Ｓ２３０）を終えた鉄スクラップ４がそのまま（禁忌物が除去されずに）検品済の鉄スクラップ５となる。
【0082】
（Ｓ２８０：終了判定）
上記のステップＳ２１０からＳ２７０までのステップは、トラック２の荷台から、未検品鉄スクラップ４がなくなるまで繰り返される（Ｓ２８０：ＹＥＳ）。
上記のステップＳ２１０からＳ２７０までのステップは、トラック２の荷台から、未検品鉄スクラップ４がなくなるまで繰り返される（Ｓ２８０：ＹＥＳ）。
【0083】
トラック２の荷台から未検品鉄スクラップ４がなくなると（Ｓ２８０：ＮＯ）、検出制御部３１は、禁忌物検出処理を終了する。禁忌物検出装置３０は、上記のような禁忌物検出処理を実行することにより、運搬中の鉄スクラップの検品を単一または複数のカメラを用いて逐次実施することができ、運搬中に角度、露出度合の変化する鉄スクラップ中の禁忌物の検出を高精度に行うことができる。そのため、鉄スクラップ群の表面から少し奥に禁忌物が入っている場合であっても従来よりも正確に禁忌物の有無を判定でき、オペレータは適切なタイミングで除去すべき禁忌物を確実に未検品鉄スクラップ４から除去できる。
【0084】
監視システム１は、鉄スクラップの流通過程において、鉄スクラップに対して所定の加工が行われる前の時点で上記処理を行うことによって、禁忌物の有無を判定する処理を行ってもよい。このような所定の加工は、鉄スクラップになる前の用途における物体の形状を判別可能な状態で残している物を、所定の基準で判別が難しくなる状態に変形させる加工である。ここで所定の基準は、例えば目視や、鉄スクラップになる前の用途における物体の形状を判別可能な学習済モデル、とすることができる。鉄スクラップに対する所定の加工の具体例として、鉄スクラップの大きさを相対的に小さくする処理や、鉄スクラップの長さ（例えば最も長い部分の長さ）を相対的に短くする処理がある。このような加工のより具体的な例として、プレス加工、ガス切断加工、シャーリング（切断）加工、シュレッダー（粉砕）加工などがある。このような所定の加工が行われる前の鉄スクラップに対して、監視システム１による処理が行われる。このようなタイミングで監視システム１による処理が行われることによって、鉄スクラップになる前の用途における物体の形状がある程度残った状態の画像を用いて禁忌物の判定を行うことができる。そのため、禁忌物を発見できる確率が上がる。
【0085】
また、監視システム１が所定の加工が行われる前の時点で上記処理を行うように構成されることによって、後述する学習済モデルを得るための処理（学習処理）において使用される教師データをより容易に作成することが可能になるという効果が得られる。上述したように、所定の加工が行われる前の時点の鉄スクラップには、鉄スクラップになる前の用途における物体の形状を判別可能な状態で残している物が含まれる。そのため、実際に禁忌物を含む鉄スクラップの画像のみならず、実際には禁忌物を含まない鉄スクラップの画像に対して禁忌物の画像を合成することによって、新たな教師データを容易に生成することが可能となる。この場合、合成に供する禁忌物の画像は、例えばインターネットから収集することができる。禁忌物の検出確率を上げるには、学習済モデルに大量かつ多様な禁忌物の画像を学習させることが望ましいが、インターネットや禁忌物が現れる他の現場からの禁忌物の画像収集は、そのような大量かつ多様な禁忌物画像の教師データ収集を容易にする。一方で、鉄スクラップに対して所定の加工が行われた後の時点で上記処理を行うように構成する場合は、鉄スクラップになる前の用途における物体の形状を判別可能な状態で残していないような禁忌物を教師データの画像に含める必要がある。そのような禁忌物の画像をインターネットや禁忌物が現れる他の現場から多数収集することは不可能である。
【0086】
［６．変形例］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0087】
例えば、上記実施形態では、撮影装置２０の撮影方向と撮影倍率は固定として撮影しているが、本発明は係る例に限定されない。例えば、撮影装置２０は、運搬装置１０により運搬中の未検品鉄スクラップ４の位置および運搬装置１０の操作に関する少なくともいずれかの情報に基づいて撮影方向（アングル）および撮影倍率（ズーム倍率）を逐次調整して、運搬中の未検品鉄スクラップ４を追従した撮影を行えるようにしてもよい。特に、撮影倍率を調整した場合には、画角中に占める鉄スクラップの存在領域の割合を高くできるため、禁忌物検出装置３０が禁忌物を検出する際に処理すべき画像領域が限定でき、処理時間を短縮することができる。加えて、禁忌物の検出に用いる学習済モデルへの入力画像を低解像化できるので、禁忌物検出装置３０全体の処理時間を短縮することができる。
【0088】
図９は、運搬中の未検品鉄スクラップ４を追従した撮影を行う場合の構成例を示す図である。例えば、図９に示すように、リフトマグネット１１に現在位置を特定可能なセンサ（ＧＰＳなど）１１ａが取り付けられる。そして、禁忌物検出装置３０の検出制御部３１は、センサ１１ａの最新の情報（リフトマグネット１１の現在位置）を用いて、未検品鉄スクラップ４の位置を特定する。これに応じて、撮影装置２０は、撮影方向（アングル）および撮影倍率（ズーム）を逐次調整してもよい。また、運搬中の未検品鉄スクラップ４を追従した撮影を行う場合も、撮影装置２０は、リフトマグネット１１の磁力強度に応じて、撮影方向および撮影倍率を逐次調整してもよい。
【0089】
また、検出制御部３１は、リフトマグネット１１とクレーン１２を制御するために操作部１５に入力された指示情報およびリフトマグネット１１の特徴を学習させた学習済モデルから得られる画像中のリフトマグネット１１の位置情報などを取得し、これらの情報のうちいずれかまたは複数の組み合わせを利用することにしてもよい。
【0090】
また、上記実施形態では、運搬装置１０がリフトマグネット１１の磁力によって未検品鉄スクラップ４を吊り上げて運搬する例を示したが、本発明は係る例に限定されない。例えば、運搬装置１０は、ベルトコンベアでもよい。図１０は、運搬装置１０をベルトコンベアとした場合の例を示す図である。図１０に示すように、トラック２の荷台と検品済み鉄スクラップ積載場３との間に、未検品鉄スクラップ４を運搬可能なベルトコンベア１０ａを設置し、未検品鉄スクラップ４が検品済み鉄スクラップ積載場３までベルトコンベアによって運搬される工程を撮影装置２０が撮影して、検品してもよい。ベルトコンベア１０ａで運搬中の未検品鉄スクラップ４は、トラック２の荷台上やリフトマグネット１１によって吊り上げられた状態よりも禁忌物が露出している可能性が高く、禁忌物の検出精度を高めることができる。
【0091】
また、上記実施形態では、禁忌物の判定に学習済モデルが用いられたが、必ずしも機械学習や深層学習の学習済モデルが使用される必要は無い。例えば、統計処理を行うことによって得られる推定モデルを用いて禁忌物の判定が行われてもよい。例えば、禁忌物を示すパターンを用いたパターンマッチング等の画像処理を行うことによって禁忌物の判定が行われてもよい。この場合、使用されるパターンが推定モデルの一具体例となる。このような推定モデルの一つの具体例が、上述した学習済モデルである。
上述の本実施形態の説明では、撮影部は鉄スクラップに対して別視点又は別タイミングで複数回撮影するものとして説明してきたが、撮影部は１つのカメラから構成されてもよいし、ある１タイミングのみ撮影する形でもよい。
また上述の本実施形態の説明では、禁忌物が含まれると特定された場合にそのことを示す情報を出力する方法として、禁忌物の種類および位置をそれぞれ出力するものとして説明してきたが、禁忌物が含まれることを示す情報を出力できる方法であれば、これに限られるものではない。
上述の本実施形態の説明では、撮影部は鉄スクラップに対して別視点又は別タイミングで複数回撮影するものとして説明してきたが、撮影部は１つのカメラから構成されてもよいし、ある１タイミングのみ撮影する形でもよい。
また上述の本実施形態の説明では、禁忌物が含まれると特定された場合にそのことを示す情報を出力する方法として、禁忌物の種類および位置をそれぞれ出力するものとして説明してきたが、禁忌物が含まれることを示す情報を出力できる方法であれば、これに限られるものではない。
【0092】
［７．ハードウェア構成］
図１１は、上記実施形態および変形例における禁忌物検出装置３０のハードウェア構成の一例を示すブロック図である。
図１１は、上記実施形態および変形例における禁忌物検出装置３０のハードウェア構成の一例を示すブロック図である。
【0093】
禁忌物検出装置３０は、１または複数のハードウェアプロセッサ（図１１ではＣＰＵ９０１）と、ＲＯＭ９０３、ＲＡＭ９０５等の１または複数のメモリとを含む。また、禁忌物検出装置３０は、バス９０７と、入力Ｉ／Ｆ９０９と、出力Ｉ／Ｆ９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを含む。
【0094】
ＣＰＵ９０１は、演算処理装置および制御装置として機能する。ＣＰＵ９０１は、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、またはリムーバブル記録媒体９２５に記録された各種プログラムに従って、禁忌物検出装置３０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムあるいは演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラム、あるいは、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。
【0095】
バス９０７は、ブリッジを介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バスに接続されている。
【0096】
入力Ｉ／Ｆ９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等の、ユーザが操作する操作手段である入力装置９２１からの入力を受け付けるインタフェースである。入力Ｉ／Ｆ９０９は、例えば、ユーザが入力装置９２１を用いて入力した情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等として構成されている。入力装置９２１は、例えば、赤外線あるいはその他の電波を利用したリモートコントロール装置、あるいは、禁忌物検出装置３０の操作に対応したＰＤＡ等の外部機器９２７であってもよい。禁忌物検出装置３０のユーザは、入力装置９２１を操作し、禁忌物検出装置３０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0097】
出力Ｉ／Ｆ９１１は、入力された情報を、ユーザに対して視覚的または聴覚的に通知可能な出力装置９２３へ出力するインタフェースである。出力装置９２３は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプ等の表示装置であってもよい。あるいは、出力装置９２３は、スピーカ及びヘッドホン等の音声出力装置や、プリンター、移動通信端末、ファクシミリ等であってもよい。出力Ｉ／Ｆ９１１は、出力装置９２３に対して、例えば、禁忌物検出装置３０により実行された各種処理にて得られた処理結果を出力するよう指示する。具体的には、出力Ｉ／Ｆ９１１は、表示装置に対して禁忌物検出装置３０による処理結果を、テキストまたはイメージで表示するよう指示する。また、出力Ｉ／Ｆ９１１は、音声出力装置に対し、再生指示を受けた音声データ等のオーディオ信号をアナログ信号に変換して出力するよう指示する。
【0098】
ストレージ装置９１３は、禁忌物検出装置３０の記憶部の１つであり、データ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により構成される。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、プログラムの実行により生成された各種データ、及び、外部から取得した各種データ等を格納する。
【0099】
ドライブ９１５は、記録媒体用リーダライタであり、禁忌物検出装置３０に内蔵あるいは外付けされる。ドライブ９１５は、装着されているリムーバブル記録媒体９２５に記録されている情報を読み出し、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されているリムーバブル記録媒体９２５に情報を書き込むことも可能である。リムーバブル記録媒体９２５は、例えば、磁気ディスク、光ディスク、光磁気ディスクまたは半導体メモリ等である。具体的には、リムーバブル記録媒体９２５は、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、フラッシュメモリ、ＳＤメモリカード（Secure Digital memory card）等であってもよい。また、リムーバブル記録媒体９２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。
【0100】
接続ポート９１７は、機器を禁忌物検出装置３０に直接接続するためのポートである。接続ポート９１７は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ－２３２Ｃポート等である。情報処理装置９００は、接続ポート９１７に接続された外部機器９２７から、直接各種データを取得したり外部機器９２７に各種データを提供したりすることができる。
【0101】
通信装置９１９は、例えば、通信網９２９に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Wireless USB）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等であってもよい。通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２９は、有線または無線によって接続されたネットワーク等により構成されている。例えば、通信網９２９は、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等である。
【0102】
以上、禁忌物検出装置３０のハードウェア構成の一例を示した。上述の各構成要素は、汎用的な部材を用いて構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。禁忌物検出装置３０のハードウェア構成は、本実施形態を実施する時々の技術レベルに応じて適宜変更可能である。また、本実施形態は、上記のコンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体を備えてもよい。このような禁忌物検出装置３０は、例えば複数の情報処理装置を用いて構築されてもよいし、単体の情報処理装置を用いて構築されてもよい。複数の情報処理装置が用いられる場合には、各情報処理装置がネットワークを経由して通信を行うことによって離れた位置に設置されていてもよい。また、禁忌物検出装置３０は、鉄スクラップヤードから離れた場所に設置された情報処理装置を用いて構成されてもよい。この場合、撮影装置２０と禁忌物検出装置３０とはネットワークを介して通信可能に接続されてもよい。
【0103】
［８．実施例］
上記実施形態に係る手法の効果を検証すべく、図１に示した監視システム１を用いて、禁忌物を検出するための学習済モデルを生成し、鉄スクラップ中の禁忌物の検出、除去を実施して、その検出率を算出した。本実施例では、禁忌物を最も混入頻度が高い禁忌物であるモーターに限定した。モーターを５８９個用意し、そのうち４８９個をモデル学習用、１００個をスクラップヤードでの検品性能の検証用として振り分けた。
上記実施形態に係る手法の効果を検証すべく、図１に示した監視システム１を用いて、禁忌物を検出するための学習済モデルを生成し、鉄スクラップ中の禁忌物の検出、除去を実施して、その検出率を算出した。本実施例では、禁忌物を最も混入頻度が高い禁忌物であるモーターに限定した。モーターを５８９個用意し、そのうち４８９個をモデル学習用、１００個をスクラップヤードでの検品性能の検証用として振り分けた。
【0104】
まず、４８９個の学習用のモーターについて、モーター１個に対して角度、背景などを変えて２回撮影し合計９７８枚の学習用画像を取得した。このときの撮影環境として、モーターを地面に置いて撮影したほか、未検品鉄スクラップ４に意図的に混ぜるなどし、実際の検品時に近い画像を取得した。撮影機材は、検品時に用いる監視システム１の撮影装置２０と同じ撮影機材を用いて撮影した。この合計９７８枚の画像に対し、図６の下図に示すような画像中の禁忌物の位置、種類およびその確率を示す情報を含むテキストデータ（ラベルデータ）を作成し、元画像とラベルデータを学習用データセットとした。
【0105】
学習モデルには、周知のＹＯＬＯｖ３（非特許文献１）を用いた。このモデルは、図６の下図に示すような、画像とその画像中の禁忌物の周囲を囲うように作成した矩形の情報を学習することで、未知の画像を入力したときにその画像中に含まれる禁忌物の位置を示す矩形の情報を出力するモデルである。つまり本実施例では、モーターが含まれる画像を、すでにモーターを学習済みのモデルに入力することで、画像中の禁忌物の種類（モーター）、その位置を示す矩形の情報、モーターである確率を出力させた。
【0106】
表１は、上記実施形態に係る手法の効果を検証するための実験方法について、比較例と実施例１、２とで対比した表である。比較例と実施例１、２では、共通の学習モデル（ＹＯＬＯｖ３）を用いた。また、表１に示すように、比較例と実施例１、２では、カメラ配置、撮影方法（静止画、動画）を異なる条件で設定し、別々に実験を行った。
【0107】
比較例は、特許文献２に開示されている通り、禁忌物の検出対象をトラックの荷台上の鉄スクラップとした。また、撮影および検出は、トラックの荷台上からリフトマグネットが鉄スクラップを搬出した後、リフトマグネットがカメラ画角に入っていないことを確認してから１回のみ行った。この１回の検出で、禁忌物が撮影画像から検出されれば、禁忌物の有無を作業者に出力し、作業者はこれを除去した。
【0108】
これに対し、実施例１では、撮影対象をリフトマグネットによって運搬中の鉄スクラップとし、図１、図８のように検品作業中は撮影と検出を逐次行い、検出された禁忌物の候補について禁忌物である確率が５０％を超えたと判定したときのみ、作業者に出力し、作業者はこの禁忌物を除去した。また、実施例２では、図２のように撮影対象をトラック荷台上のカメラで１台と、リフトマグネットを撮影するカメラ２台を用いて、実施例１と同様の実験を実施した。
【0109】
【表1】
【0110】
表２は、比較例の結果および実施例１、２によって検品作業を実施した結果を示す。本実験では、モデルの学習では使用していないテスト用のモーター１００個を、合計１０００ｔの正常な鉄スクラップ中に意図的に混ぜ、各手法で検品実験を行い、最終的な検出個数を比較した。
【0111】
【表2】
【0112】
表２に示す通り、一つのカメラを用いてリフトマグネットを連続的に撮影した実施例１では、トラックの荷台上で１回のみ検出を行う比較例と比べて１１個多くモーターを禁忌物として検出することができた。これは比較例が禁忌物の検出を１回のみ実施しているのに対し、実施例１では鉄スクラップ中の禁忌物の角度や露出状況が運搬中に変化するため、禁忌物を撮影できるチャンスが増えた効果である。
【0113】
図１２は、実施例１によりリフトマグネットの運搬によって禁忌物が露出し、検出に成功した例を示す図である。図１２に示すように、禁忌物の位置に矩形が生成されていることがわかる。カメラを複数台用いた実施例２では、実施例１で死角となった禁忌物も検出することができたため、実施例１よりも１２個多く検出することができた。本実験では、実施例１、２ともに比較例の検品精度を上回った。
【0114】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0115】
１ 監視システム
２ トラック
３ 検品済み鉄スクラップ積載場
４ 未検品鉄スクラップ
５ 検品済み鉄スクラップ
１０ 運搬装置
１０ａ ベルトコンベア
１１ リフトマグネット
１１ａ センサ
１２ クレーン
１３ クレーンレール
１４ 運搬制御部
１５ 操作部
２０ 撮影装置
２０ａ 第１カメラ
２０ｂ 第２カメラ
２０ｃ 第３カメラ
３０ 禁忌物検出装置
３１ 検出制御部
３２ 出力部
３３ モデル生成部
３４ モデル出力部
３５ データ記憶部
３１０ 画像取得部
３１１ 領域抽出部
３１２ 禁忌物特定部
３１３ 判定部
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ バス
９０９ 入力Ｉ／Ｆ
９１１ 出力Ｉ／Ｆ
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網
２ トラック
３ 検品済み鉄スクラップ積載場
４ 未検品鉄スクラップ
５ 検品済み鉄スクラップ
１０ 運搬装置
１０ａ ベルトコンベア
１１ リフトマグネット
１１ａ センサ
１２ クレーン
１３ クレーンレール
１４ 運搬制御部
１５ 操作部
２０ 撮影装置
２０ａ 第１カメラ
２０ｂ 第２カメラ
２０ｃ 第３カメラ
３０ 禁忌物検出装置
３１ 検出制御部
３２ 出力部
３３ モデル生成部
３４ モデル出力部
３５ データ記憶部
３１０ 画像取得部
３１１ 領域抽出部
３１２ 禁忌物特定部
３１３ 判定部
９０１ ＣＰＵ
９０３ ＲＯＭ
９０５ ＲＡＭ
９０７ バス
９０９ 入力Ｉ／Ｆ
９１１ 出力Ｉ／Ｆ
９１３ ストレージ装置
９１５ ドライブ
９１７ 接続ポート
９１９ 通信装置
９２１ 入力装置
９２３ 出力装置
９２５ リムーバブル記録媒体
９２７ 外部機器
９２９ 通信網
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
