特開2023-58205砂利生産管理方法および砂利生産管理用コンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023058205
(43)【公開日】2023-04-25
(54)【発明の名称】砂利生産管理方法および砂利生産管理用コンピュータプログラム
(51)【国際特許分類】
G06Q 50/02 20120101AFI20230418BHJP
G05B 19/418 20060101ALI20230418BHJP
【ＦＩ】
G06Q50/02
G05B19/418 Z
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021168049
(22)【出願日】2021-10-13
(11)【特許番号】
(45)【特許公報発行日】2022-01-28
(71)【出願人】
【識別番号】521450540
【氏名又は名称】株式会社ヤマサ
(74)【代理人】
【識別番号】100090170
【弁理士】
【氏名又は名称】横沢 志郎
(72)【発明者】
【氏名】北爪 寛孝
(72)【発明者】
【氏名】古屋 史朗
(72)【発明者】
【氏名】岸部 友裕
【テーマコード（参考）】
3C100
5L049
【Ｆターム（参考）】
3C100AA29
3C100AA38
3C100AA57
3C100AA70
3C100BB27
3C100BB33
3C100CC02
5L049CC01
(57)【要約】
【課題】原石の質を把握し製品品質をコントロールするために、無人で原石の質の確認・判定・通知を行う砂利生産管理方法を提案すること。
【解決手段】砂利生産管理システム１のエッジデバイス３１は、砂利工場２において投入原石９の撮影画像１１を取得し、原石検出モデル３４を用いて撮影画像１１から個々の原石を抽出し、抽出した原石のそれぞれをバウンディングボックス１２で取り囲む。管理事務所４の管理サーバ５１は、バウンディングボックス１２のサイズ（面積）を算出し、算出したサイズ（面積）を閾値と比較して小サイズ原石９Ｓおよび大サイズ原石９Ｌに分類し、これらの個数を算出し、表示画面上に表示した撮影画像１に、バウンディングボックス１２、サイズ、大小サイズの混合比率を表示する。投入原石９の品質管理を、リアルタイムに正確に行うことができる。
【選択図】図１
【解決手段】砂利生産管理システム１のエッジデバイス３１は、砂利工場２において投入原石９の撮影画像１１を取得し、原石検出モデル３４を用いて撮影画像１１から個々の原石を抽出し、抽出した原石のそれぞれをバウンディングボックス１２で取り囲む。管理事務所４の管理サーバ５１は、バウンディングボックス１２のサイズ（面積）を算出し、算出したサイズ（面積）を閾値と比較して小サイズ原石９Ｓおよび大サイズ原石９Ｌに分類し、これらの個数を算出し、表示画面上に表示した撮影画像１に、バウンディングボックス１２、サイズ、大小サイズの混合比率を表示する。投入原石９の品質管理を、リアルタイムに正確に行うことができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
砂利原料の原石を大小のサイズに選別する選別工程と、大サイズとして選別された原石を破砕する破砕工程とを繰り返して前記原石から規格サイズの砂利を製造する砂利生産工程を、コンピュータを備えた管理システムにより管理する砂利生産管理方法において、
前記砂利生産工程に投入される投入原石の撮影画像を取得する画像取得工程と、
機械学習機能を備えた原石検出モデルを用いて、前記撮影画像から個々の原石が写っている原石画像部位を抽出し、抽出した前記原石画像部位のそれぞれを取り囲む大きさのバウンディングボックスを生成する原石検出工程と、
前記原石画像部位を表す前記バウンディングボックスのサイズを算出し、算出したサイズをサイズ選別用の基準値と比較して、前記原石画像部位に写っている原石を、前記規格サイズ以下の小サイズ原石および前記規格サイズを超える大サイズ原石に分類し、これら小サイズ原石および大サイズ原石の個数を算出する原石品質判定工程と、
表示装置の表示画面上に、各原石画像部位が前記バウンディングボックスで囲まれた状態の前記撮影画像と共に、各バウンディングボックスのサイズ、および、前記小サイズ原石および前記大サイズ原石それぞれの個数を表示する表示工程と、
を備えている砂利生産管理方法。
前記砂利生産工程に投入される投入原石の撮影画像を取得する画像取得工程と、
機械学習機能を備えた原石検出モデルを用いて、前記撮影画像から個々の原石が写っている原石画像部位を抽出し、抽出した前記原石画像部位のそれぞれを取り囲む大きさのバウンディングボックスを生成する原石検出工程と、
前記原石画像部位を表す前記バウンディングボックスのサイズを算出し、算出したサイズをサイズ選別用の基準値と比較して、前記原石画像部位に写っている原石を、前記規格サイズ以下の小サイズ原石および前記規格サイズを超える大サイズ原石に分類し、これら小サイズ原石および大サイズ原石の個数を算出する原石品質判定工程と、
表示装置の表示画面上に、各原石画像部位が前記バウンディングボックスで囲まれた状態の前記撮影画像と共に、各バウンディングボックスのサイズ、および、前記小サイズ原石および前記大サイズ原石それぞれの個数を表示する表示工程と、
を備えている砂利生産管理方法。
【請求項2】
請求項１において、
前記原石品質判定工程では、
前記投入原石に含まれる小サイズ原石および大サイズ原石の個数の比率および面積の比率のうちの少なくとも一方の比率に基づき、前記投入原石を前記規格サイズ以下の砂利に加工する場合の生産性の良否判断を行う砂利生産管理方法。
前記原石品質判定工程では、
前記投入原石に含まれる小サイズ原石および大サイズ原石の個数の比率および面積の比率のうちの少なくとも一方の比率に基づき、前記投入原石を前記規格サイズ以下の砂利に加工する場合の生産性の良否判断を行う砂利生産管理方法。
【請求項3】
請求項１または２において、
前記砂利生産工程における砂利生産管理の履歴情報をデータベースに登録する登録工程を備えており、
前記履歴情報には、少なくとも、前記投入原石を特定する原石情報と、前記投入原石の前記原石品質判定工程における判定結果と、前記投入原石の加工日時とが対応付けされた形態で含まれている砂利生産管理方法。
前記砂利生産工程における砂利生産管理の履歴情報をデータベースに登録する登録工程を備えており、
前記履歴情報には、少なくとも、前記投入原石を特定する原石情報と、前記投入原石の前記原石品質判定工程における判定結果と、前記投入原石の加工日時とが対応付けされた形態で含まれている砂利生産管理方法。
【請求項4】
請求項３において、
前記管理システムを、前記選別工程および前記破砕工程を行う砂利工場に設置した工場側システムと、前記砂利工場を管理する管理事務所に設置され前記工場側システムと有線あるいは無線による通信を行う管理側システムとを備えた構成とし、
前記管理側システムを、管理サーバと、管理データベースと、管理側モニターとを備えた構成とし、
前記工場側システムを、カメラと、エッジデバイスと、工場側モニターとを備えた構成とし、
前記砂利工場において、前記カメラが篩の原石投入口に投入される前記投入原石を撮影する撮影工程を実行し、前記エッジデバイスが、前記画像取得工程と、前記原石検出モデルを用いた前記原石検出工程と、前記撮影画像および原石の検出結果を前記管理システムに送信する送信工程とを実行し、
前記管理事務所において、
前記管理サーバが、前記撮影画像および前記検出結果を受信する受信工程と、受信した前記検出結果に基づく前記原石品質判定工程と、前記登録工程と、前記撮影画像を、前記検出結果および前記判定結果と共に前記管理側モニターに表示する表示工程と、前記判定結果を前記エッジデバイスに送信する送信工程とを実行し、
前記砂利工場において、
前記エッジデバイスが、前記判定結果を受信する受信工程と、前記カメラの撮影画像を、前記検出結果および受信した前記判定結果と共に、前記工場側モニターの画面に表示する表示工程とを実行する砂利生産管理方法。
前記管理システムを、前記選別工程および前記破砕工程を行う砂利工場に設置した工場側システムと、前記砂利工場を管理する管理事務所に設置され前記工場側システムと有線あるいは無線による通信を行う管理側システムとを備えた構成とし、
前記管理側システムを、管理サーバと、管理データベースと、管理側モニターとを備えた構成とし、
前記工場側システムを、カメラと、エッジデバイスと、工場側モニターとを備えた構成とし、
前記砂利工場において、前記カメラが篩の原石投入口に投入される前記投入原石を撮影する撮影工程を実行し、前記エッジデバイスが、前記画像取得工程と、前記原石検出モデルを用いた前記原石検出工程と、前記撮影画像および原石の検出結果を前記管理システムに送信する送信工程とを実行し、
前記管理事務所において、
前記管理サーバが、前記撮影画像および前記検出結果を受信する受信工程と、受信した前記検出結果に基づく前記原石品質判定工程と、前記登録工程と、前記撮影画像を、前記検出結果および前記判定結果と共に前記管理側モニターに表示する表示工程と、前記判定結果を前記エッジデバイスに送信する送信工程とを実行し、
前記砂利工場において、
前記エッジデバイスが、前記判定結果を受信する受信工程と、前記カメラの撮影画像を、前記検出結果および受信した前記判定結果と共に、前記工場側モニターの画面に表示する表示工程とを実行する砂利生産管理方法。
【請求項5】
原石を大小のサイズに選別する選別工程、および、大サイズとして選別された原石を破砕する破砕工程とを繰り返して前記原石を規格サイズの砂利に加工する砂利生産工程を管理するための砂利生産管理用コンピュータプログラムであって、
前記砂利生産工程に投入される投入原石の撮影画像を取得する画像取得工程と、
機械学習機能を備えた原石検出モデルを用いて、前記撮影画像から個々の原石が写っている原石画像部位を抽出し、抽出した前記原石画像部位のそれぞれを取り囲む大きさのバウンディングボックスを生成する原石検出工程と、
前記原石画像部位を表す前記バウンディングボックスのサイズを算出し、算出したサイズをサイズ選別用の基準値と比較して、前記原石画像部位に写っている原石を、規格サイズ以下の小サイズ原石および前記規格サイズを超える大サイズ原石に分類し、これら小サイズ原石および大サイズ原石の個数を算出する原石品質判定工程と、
表示装置の表示画面上に、各原石画像部位が前記バウンディングボックスで囲まれた状態の前記撮影画像と共に、各バウンディングボックスのサイズ、および、前記小サイズ原石および前記大サイズ原石それぞれの個数を表示する表示工程と、
をコンピュータに実行させることを特徴とする砂利生産管理用コンピュータプログラム。
前記砂利生産工程に投入される投入原石の撮影画像を取得する画像取得工程と、
機械学習機能を備えた原石検出モデルを用いて、前記撮影画像から個々の原石が写っている原石画像部位を抽出し、抽出した前記原石画像部位のそれぞれを取り囲む大きさのバウンディングボックスを生成する原石検出工程と、
前記原石画像部位を表す前記バウンディングボックスのサイズを算出し、算出したサイズをサイズ選別用の基準値と比較して、前記原石画像部位に写っている原石を、規格サイズ以下の小サイズ原石および前記規格サイズを超える大サイズ原石に分類し、これら小サイズ原石および大サイズ原石の個数を算出する原石品質判定工程と、
表示装置の表示画面上に、各原石画像部位が前記バウンディングボックスで囲まれた状態の前記撮影画像と共に、各バウンディングボックスのサイズ、および、前記小サイズ原石および前記大サイズ原石それぞれの個数を表示する表示工程と、
をコンピュータに実行させることを特徴とする砂利生産管理用コンピュータプログラム。
【請求項6】
請求項５において、
前記原石品質判定工程は、前記投入原石に含まれる小サイズ原石および大サイズ原石の個数の比率および面積の比率のうちの少なくとも一方の比率に基づき、前記砂利生産工程における砂利の生産性の良否判断を行う砂利生産管理用コンピュータプログラム。
前記原石品質判定工程は、前記投入原石に含まれる小サイズ原石および大サイズ原石の個数の比率および面積の比率のうちの少なくとも一方の比率に基づき、前記砂利生産工程における砂利の生産性の良否判断を行う砂利生産管理用コンピュータプログラム。
【請求項7】
請求項５または６において、更に、
前記砂利生産工程における砂利生産管理履歴をデータベースに登録する登録工程をコンピュータに実行させ、
前記登録工程では、少なくとも、前記投入原石を特定する原石情報と、前記投入原石の前記原石品質判定工程における判定結果と、前記投入原石の加工日時とを対応付けした形態で前記データベースに保存する砂利生産管理用コンピュータプログラム。
前記砂利生産工程における砂利生産管理履歴をデータベースに登録する登録工程をコンピュータに実行させ、
前記登録工程では、少なくとも、前記投入原石を特定する原石情報と、前記投入原石の前記原石品質判定工程における判定結果と、前記投入原石の加工日時とを対応付けした形態で前記データベースに保存する砂利生産管理用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、砂利工場において、無人で、原石の質（サイズ、大小サイズの混合割合など）を把握して砂利の生産性の向上を図る砂利生産管理方法、および当該方法をコンピュータから構成される管理システムに実行させるために用いる砂利生産管理用コンピュータプログラムに関する。
【背景技術】
【0002】
一般的に、採取場で採掘された原石は、砂利工場において、様々な機械で破砕・選別・洗浄され、所定の粒度規格に適合させて出荷され、コンクリート、アスファルト等の骨材として用いられる。コンクリート、アスファルトに用いる砂利に規格外のサイズのもの、異物などが混在していると、納入先の受入検査に合格できない。石灰石採掘鉱山やコンクリート製造等を想定し、規格外の大サイズの石や骨材、異物などを、人手に頼ることなく除去する方法は、例えば、特許文献１、２において提案されている。
【0003】
特許文献１に記載の骨材選別装置においては、篩に掛けた後の骨材をＣＣＤカメラで撮影し、撮影画像を画像解析して基準から大きく外れた大きなサイズの骨材を検出し、検出された骨材を他の骨材から除去している。これにより、篩目を通ってしまった細長い形状をした規格サイズよりも大きな骨材を除去している。特許文献２に記載の異物を検出する方法では、搬送される骨材の画像を処理して、規格サイズから大きく外れた大きなサイズの石の塊だけでなく、異物も検出して除去できるようにしている。
【0004】
一方、近年においては、ＡＩ技術の発達に伴い、物体検出用ソフトウエアとして、各種の機械学習モデルが提案されており、広く利用されている。例えば、ＹＯＬＯシリーズが知られている。特許文献３には、畳み込みニューラルネットワークを用いたディープラーニングによる物体検出用の機械学習モデルであるＹＯＬＯ（ｖ３）を利用して、撮影画像から破砕片を識別する破砕片検出方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００８－２１２７７８号公報
【特許文献2】特開２０１６－１９４５０５号公報
【特許文献3】特開２０２１－８７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
採取場から採取された原石から規格サイズの砂利を製造する場合において、砂利原料である原石の質、特に、サイズ、大小サイズの混合割合などによって、製品である砂利の生産性、品質に大きく影響がでる。従来においては、加工対象となる原石の状態を、人が目視により確認し、生産性、品質の低下などを勘と経験によって判断して、原石の採取場、工場、出荷部門などへ指示をだし、製品の生産性、製品の品質を維持するようにしている。しかしながら、人手不足、熟練者の高齢化・減少などにより、人手に頼って原石の質を判断して砂利生産の質、効率を維持することが困難になってきている。また、目視による確認、勘と経験に頼る判断には限界があり、異なる作業環境の下では同質の原石であっても異なる状態に見え、採取場が異なると原石の質も異なるなどの各種の要因により、常に適切な判断を行うことを期待できない。
【0007】
例えば、砂利工場における砂利生産工程では、原石を篩に掛けて大小のサイズに選別する選別工程が行われ、大サイズとして選別された原石に対しては、破砕機械に掛けて破砕する破砕工程および大小のサイズに選別する選別工程を繰り返し行っている。このような工程を経て、原石を規格サイズの砂利に選別して製品として出荷している。
【0008】
ここで、図１０（Ａ）に示すように、砂利生産工程に投入される原石１００が、サイズ、大小サイズの比率などが所定の状態の原石の場合（原石の大小のバランスが良い場合）には、大サイズとして選別された原石１００Ｌに対して行われる破砕工程１１０および選別工程１２０からなる処理サイクルが少ない回数で済み、生産性を維持できる。
【0009】
これに対して、図１０（Ｂ）に示すように、原石１００のサイズが全体として大きく、大小サイズの混合割合に偏りがある場合、特に、大サイズの混合割合が大きい場合には、大サイズとして選別された原石１００Ｌに対する処理サイクルの回数が増加し、１サイクルで得られる規格サイズより小さい小サイズの原石１００Ｓの量が少なくなり、砂利の生産性が低下してしまう。また、再破砕される原石１００Ｌの量が多いと、破砕機械への負荷も高くなり、各処理サイクルにおいて新たに投入する原石１００の量を少なくする必要があるので、生産性が更に低下してしまう。このような状態が継続すると、原料在庫が滞留し、ストック場のひっ迫、原石採取の一時停止などの悪循環に陥るおそれがある。
【0010】
本発明の目的は、このような点に鑑みて、砂利工場において、人手に頼ることなく、原石の撮影画像から原石の質（サイズ、大小サイズの混合割合など）を正確に把握して砂利の生産性、品質を維持できるようにした砂利生産管理方法を提案することにある。また、本発明の目的は、当該方法を、コンピュータを中心に構成されるシステムに実行させるために用いる砂利生産管理用コンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、本発明は、
原石を篩に掛けて大小のサイズに選別する選別工程と、大サイズとして選別された原石を破砕機械に掛けて破砕する破砕工程とを繰り返して前記原石を規格サイズの砂利に加工する砂利生産工程を、コンピュータを備えた管理システムにより管理する砂利生産管理方法において、
前記砂利生産工程に投入される投入原石の撮影画像を取得する画像取得工程と、
機械学習機能を備えた原石検出モデルを用いて、前記撮影画像から個々の原石が写っている原石画像部位を抽出し、抽出した前記原石画像部位のそれぞれを取り囲む大きさのバウンディングボックスを生成する原石検出工程と、
前記原石画像部位を表す前記バウンディングボックスのサイズ（面積）を算出し、算出したサイズ（面積）をサイズ選別用の基準値と比較して、前記原石画像部位に写っている原石を、前記規格サイズ以下の小サイズ原石および前記規格サイズを超える大サイズ原石に分類し、これら小サイズ原石および大サイズ原石の個数を算出する原石品質判定工程と、
表示装置の表示画面上に、各原石画像部位が前記バウンディングボックスで囲まれた状態の前記撮影画像と共に、各バウンディングボックスのサイズ（面積）、および、前記小サイズ原石および前記大サイズ原石それぞれの個数を表示する表示工程と、
を備えていることを特徴としている。
原石を篩に掛けて大小のサイズに選別する選別工程と、大サイズとして選別された原石を破砕機械に掛けて破砕する破砕工程とを繰り返して前記原石を規格サイズの砂利に加工する砂利生産工程を、コンピュータを備えた管理システムにより管理する砂利生産管理方法において、
前記砂利生産工程に投入される投入原石の撮影画像を取得する画像取得工程と、
機械学習機能を備えた原石検出モデルを用いて、前記撮影画像から個々の原石が写っている原石画像部位を抽出し、抽出した前記原石画像部位のそれぞれを取り囲む大きさのバウンディングボックスを生成する原石検出工程と、
前記原石画像部位を表す前記バウンディングボックスのサイズ（面積）を算出し、算出したサイズ（面積）をサイズ選別用の基準値と比較して、前記原石画像部位に写っている原石を、前記規格サイズ以下の小サイズ原石および前記規格サイズを超える大サイズ原石に分類し、これら小サイズ原石および大サイズ原石の個数を算出する原石品質判定工程と、
表示装置の表示画面上に、各原石画像部位が前記バウンディングボックスで囲まれた状態の前記撮影画像と共に、各バウンディングボックスのサイズ（面積）、および、前記小サイズ原石および前記大サイズ原石それぞれの個数を表示する表示工程と、
を備えていることを特徴としている。
【0012】
本発明では、ＡＩを活用した原石検出モデルを用いて、処理対象である投入原石の撮影画像を解析して背景画像から個々の原石画像を分離抽出して個々の原石を検出し、検出結果に基づき、投入原石の質（サイズ、大小サイズの混合割合）を判別し、撮影画像と共に判別結果を、表示画面上にリアルタイムで表示することで可視化している。原石検出モデルの構築に当たり、教師データとして各種の画像（サイズの異なる原石を含む画像、大小のサイズの混合割合が異なる原石画像、照度、撮影角度などの撮影条件が異なる画像）を用意して学習させることで、検出精度を容易に高めることができる。また、画像上における原石のサイズ（面積）、大小サイズの個数を算出して、数値として可視化することで、作業員は、原石の質（サイズ、大小の混合割合）を、画面からリアルタイムで、直感的に確認できる。作業員は、表示内容に基づき、投入原石の質が適切であるか否かを判断でき、採取場などに適切な指示をだすことができ、生産性の低下などを防止できる。
【0013】
本発明において、原石品質判定工程において、投入原石に含まれる小サイズ原石および大サイズ原石の個数の比率および面積の比率のうちの少なくとも一方の比率に基づき、投入原石を規格サイズの砂利に加工する場合の生産性の良否判断を行うことができる。これらの比率と生産性との間の相関関係を事前に管理システムに保持させておくことで、生産性の良否判定を精度良く行うことができる。良否判定を画面上に表示することで作業員は投入原石の適否を確認できる。
【0014】
本発明において、砂利生産工程における砂利生産管理の履歴情報をデータベースに登録する登録工程を備えている場合がある。この場合には、履歴情報には、少なくとも、投入原石を特定する原石情報と、投入原石の原石品質判定工程における品質判定結果と、投入原石の加工日時とが対応付けされた形態で含まれていることが望ましい。
【0015】
本発明の方法により砂利生産管理を行う管理システムを、選別工程および破砕工程を行う砂利工場に設置した工場側システムと、砂利工場を管理する管理事務所に設置され工場側システムと有線あるいは無線による通信を行う管理側システムとを備えた構成とすることができる。この場合、管理側システムを、管理サーバと、管理データベースと、管理側モニターとを備えた構成とし、工場側システムを、カメラと、エッジデバイスと、工場側モニターとを備えた構成とすることができる。
【0016】
この構成の管理システムにおいては、砂利工場において、カメラが篩の原石投入口に投入される前記投入原石を撮影する撮影工程を実行し、エッジデバイスが、撮影画像取得工程と、原石検出モデルを用いた原石検出工程と、撮影画像および検出結果を管理システムに送信する送信工程とを実行する。
また、管理事務所において、管理サーバが、撮影画像および検出結果を受信する受信工程と、受信した検出結果に基づく品質判定工程と、登録工程と、撮影画像を検出結果および判定結果と共に管理用モニターに表示する表示工程と、品質判定結果をエッジデバイスに送信する送信工程とを実行する。
さらに、砂利工場において、エッジデバイスが、品質判定結果を受信する受信工程と、カメラの撮影画像を、原石検出結果および受信した品質判定結果と共に、工場側モニターの画面に表示する表示工程とを実行する。
また、管理事務所において、管理サーバが、撮影画像および検出結果を受信する受信工程と、受信した検出結果に基づく品質判定工程と、登録工程と、撮影画像を検出結果および判定結果と共に管理用モニターに表示する表示工程と、品質判定結果をエッジデバイスに送信する送信工程とを実行する。
さらに、砂利工場において、エッジデバイスが、品質判定結果を受信する受信工程と、カメラの撮影画像を、原石検出結果および受信した品質判定結果と共に、工場側モニターの画面に表示する表示工程とを実行する。
【図面の簡単な説明】
【0017】
【図1】本発明を適用した砂利生産管理システムの全体構成を示す概略構成図である。
【図2】原石検出モデルの作成手順を示す概略フローチャートである。
【図3】原石検出モデルを用いて撮影画像から原石を検出する推論手順を示す概略フローチャートである。
【図4】（Ａ）は原石検出結果から投入原石の品質を判定する手順を示す概略フローチャートであり、（Ｂ）はその説明図である。
【図5】撮影画像および原石の品質判定結果を表示する表示画面の一例を示す説明図である。
【図6】砂利生産管理システムにおける主要部分を示す説明図である。
【図7】砂利生産管理システムにおいて管理データベースに収集された砂利生産管理等の履歴情報の活用例を示す説明図である。
【図8】原石サイズ（面積）と砂利の製造量との分析結果の一例を示す説明図である。
【図9】原石サイズと物流関連の履歴情報との分析例を示す説明図である。
【図10】（Ａ）および（Ｂ）は砂利生産工程における問題点を示す説明図である。
【発明を実施するための形態】
【0018】
以下に、図面を参照して本発明の方法を適用した砂利生産管理システムの実施の形態を説明する。なお、実施の形態は本発明の一例を示すものであり、本発明を実施の形態に限定することを意図したものではない。
【0019】
（全体構成）
図１は砂利生産管理システムの全体構成を示す概略構成図である。砂利生産管理システム１は、砂利工場２に設置した工場側システム３と、砂利工場２を管理する管理事務所４に設置した管理側システム５と、砂利の原料となる原石を採取する原石採取場６に設置された採取場側システム７とを備えている。これらのシステム３、５、７はそれぞれコンピュータを中心に構成されており、予めインストールされているソフトウエアを実行することにより以下に述べる各工程・処理を実行する。これらのシステム３、５、７の間は、無線あるいは有線による通信回線８を介して接続される。
図１は砂利生産管理システムの全体構成を示す概略構成図である。砂利生産管理システム１は、砂利工場２に設置した工場側システム３と、砂利工場２を管理する管理事務所４に設置した管理側システム５と、砂利の原料となる原石を採取する原石採取場６に設置された採取場側システム７とを備えている。これらのシステム３、５、７はそれぞれコンピュータを中心に構成されており、予めインストールされているソフトウエアを実行することにより以下に述べる各工程・処理を実行する。これらのシステム３、５、７の間は、無線あるいは有線による通信回線８を介して接続される。
【0020】
工場側システム３は、エッジデバイス３１と、工場側モニター３２を含む入出力装置と、投入原石撮影用のカメラ３３とを備えている。砂利工場２では、原石採取場６から搬入される原石９が、原石投入口２１から篩２２に投入されて規格サイズより小さな小サイズ原石９Ｓとそれより大きな大サイズ原石９Ｌに篩分けされる。小サイズ原石９Ｓは次工程に移送される。大サイズ原石９Ｌに対しては、破砕機械による破砕工程２３および篩による選別工程２４からなる処理サイクルを繰り返し施して、規格サイズより小さな小サイズ原石９Ｓに加工する。選別・破砕工程（あるいは破砕・選別工程）は、必要に応じて多段階で行われる。このような砂利生産工程を経て得られた小サイズ原石９Ｓは所定の後処理工程１０を経て製品である砂利が得られ、出荷部門２５から出荷される。
【0021】
原石撮影用のカメラ３３は、原石投入口２１から投入される原石９（以下、投入原石９と呼ぶ場合もある。）を撮影可能な位置に設置される。カメラ３３により投入原石９がリアルタイムで撮影され（撮影工程）、得られた投入原石９の撮影画像１１はエッジデバイス３１に取り込まれる。エッジデバイス３１において、インストールされている学習済みの原石検出モデル３４を用いて原石検出処理が行われる（原石検出工程、後述の図２、図３参照）。撮影画像１１を含む原石検出結果３５は、エッジデバイス３１の送受信部３６から通信回線８を介して管理事務所４の管理側システム５に送信される（送信工程）。
【0022】
管理側システム５は、管理サーバ５１と、管理サーバ５１に内蔵あるいは外付けの管理データベース５２と、管理側モニター５３を含む入出力装置とを備えている。管理サーバ５１は送受信部５４を介して原石検出結果３５を受信する（受信工程）。管理サーバ５１は受信した原石検出結果３５を原石品質判定部５５において解析して原石の品質判定を行う（品質判定工程、後述の図４参照）。
【0023】
品質判定結果５６には、投入原石の撮影画像１１に写し出された原石のサイズ（面積）、大小サイズの原石の個数などが含まれている。原石検出結果３５および品質判定結果５６は、管理データベース５２に登録され（登録工程）、表示制御部５７を介して、管理側モニター５３の表示画面に表示される（表示工程、後述の図５参照）。また、品質判定結果５６は、送受信部５４から通信回線８を介して、工場側システム３および採取場側システム７に送信される。なお、品質判定結果５６は、ＬＡＮなどの通信網５８を介して、各部署に設置されている端末機器５９などにも表示可能である。
【0024】
工場側システム３のエッジデバイス３１において、送受信部３６を介して品質判定結果５６を受信すると（受信工程）、受信した品質判定結果５６が、表示制御部３７を介して、カメラ３３の撮影画像１１と共に工場側モニター３２の表示画面に表示される（表示工程）。同様に、採取場側システム７においても、そのモニター７１、現場作業員の所持する携帯用通信端末７２などに、カメラ３３の撮影画像１１および原石の品質判定結果５６が表示される。
【0025】
このように、砂利生産管理システム１においては、投入原石９の撮影画像１１から原石を検出し、検出した原石の品質（サイズ、大小サイズの個数など）を判定し、撮影画像１１、原石検出結果３５および品質判定結果５６を、リアルタイムで砂利工場２、管理事務所４および原石採取場６に設置した端末画面に表示している。無人で投入原石９の品質を確認・判定・通知を行うことができ、画面を目視により確認した管理事務所４の担当者は、表示画面から、原石の質を把握し製品品質をコントロールするべく適切な指示を原石採取場６、出荷部門２５などにだすことができる。また、原石採取場６の作業員、出荷部門２５の作業員なども端末の表示画面上において品質結果を目視により確認して品質結果を共有できる。よって、管理部門と、砂利生産部門、その前後工程となる原石採取部門、出荷部門との間の連携を効率良く行って、砂利の生産性、品質を維持することが可能になる。
【0026】
（原石検出モデル、原石検出工程）
砂利工場２に設置したエッジデバイス３１にインストールされている学習済みの原石検出モデル３４はＡＩを活用した畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習機アルゴリズムからなる物体検知モデルであり、例えば、広く利用されているＹＯＬＯシリーズを用いることができる。
砂利工場２に設置したエッジデバイス３１にインストールされている学習済みの原石検出モデル３４はＡＩを活用した畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習機アルゴリズムからなる物体検知モデルであり、例えば、広く利用されているＹＯＬＯシリーズを用いることができる。
【0027】
図２は、原石検出モデル３４の作成手順を示す概略フローチャートである。作成手順は一般的なものであるが、物体検知モデルの教師データには、原石投入口２１から投入される原石の撮影画像が含まれている。撮影画像として、カメラ３３の位置、角度、距離、明暗、原石の状態などを変えて学習用の投入原石画像を撮影し（ＳＴ２１）、学習用データセットを作成した（ＳＴ２２）。これらを教師データとして入力して、所望の検出結果が得られるようにディープラーニングを行わせ（ＳＴ２３）、原石を精度良く抽出可能な学習済みモデルである原石検出モデル３４を得た（ＳＴ２４）。
【0028】
図３は、原石検出モデル３４を用いて撮影画像１１から原石を検出する推論手順を示す概略フローチャートである。砂利工場２において、カメラ３３によって原石通過領域（原石投入口２１）を通過する投入原石９が撮影され（ＳＴ３１）、得られた投入原石９の撮影画像１１が、エッジデバイス３１に送られる（ＳＴ３２：画像取得工程）。エッジデバイス３１において、原石検出モデル３４を用いて撮影画像１１が解析され（ＳＴ３３：解析工程）、撮影画像１１に含まれている投入原石９のそれぞれが写っている画像部位の特徴量が抽出され（ＳＴ３４）、特徴量に基づき、各投入原石９が写っている原石画像部位のそれぞれが抽出され、抽出された原石画像部位を包含可能な最小限の大きさのバウンディングボックス（矩形枠）が生成される（ＳＴ３５：原石物体検出）。モニターの表示画面上において、撮影画像１１上に表示されるバウンディングボックス１２のそれぞれによって、検出された投入原石９のそれぞれが表される。
【0029】
（原石品質判定工程）
図４（Ａ）および（Ｂ）は、原石検出モデル３４によって検出された原石検出結果３５（バウンディングボックス１２の情報）から投入原石９の品質を判定する手順を示す概略フローチャートおよび説明図である。管理側システム５の管理サーバ５１は、原石検出結果３５を受信すると、原石画像部位を表すバウンディングボックス１２のサイズ（面積）を算出し、算出したサイズ（面積）をサイズ選別用の基準値である閾値と比較して、原石画像部位に写っている投入原石９を、規格サイズ以下の小サイズ原石９Ｓおよび規格サイズを超える大サイズ原石９Ｌに分類し、これら小サイズ原石９Ｓおよび大サイズ原石９Ｌの個数を算出する。
図４（Ａ）および（Ｂ）は、原石検出モデル３４によって検出された原石検出結果３５（バウンディングボックス１２の情報）から投入原石９の品質を判定する手順を示す概略フローチャートおよび説明図である。管理側システム５の管理サーバ５１は、原石検出結果３５を受信すると、原石画像部位を表すバウンディングボックス１２のサイズ（面積）を算出し、算出したサイズ（面積）をサイズ選別用の基準値である閾値と比較して、原石画像部位に写っている投入原石９を、規格サイズ以下の小サイズ原石９Ｓおよび規格サイズを超える大サイズ原石９Ｌに分類し、これら小サイズ原石９Ｓおよび大サイズ原石９Ｌの個数を算出する。
【0030】
図４（Ａ）のフローチャートに従って説明すると、まず判定のための初期設定が行われる。大小サイズ原石９Ｌ、９Ｓを選別するための基準値である閾値ｔとして、所定の規格サイズｎが設定される（ＳＴ４１：ｔ＝ｎ）。小サイズ原石９Ｓのカウント数Ｓｃおよび大サイズ原石９Ｌのカウント数Ｌｃが「０」にリセットされる（ＳＴ４２：Ｓｃ＝０，ＳＴ４３：Ｌｃ＝０）。次に、検出された原石画像部位を表すバウンディングボックス１２（矩形枠）の情報から、各バウンディングボックス１２の縦（ｈ）および横（ｗ）のサイズを取得し（ＳＴ４４）、これらの情報から、各バウンディングボックスのサイズを表す面積（ａ）を算出する（ＳＴ４５：ａ＝ｈ＊ｗ）。算出された面積（ａ）を閾値（ｔ）と比較する（ＳＴ４６）。面積（ａ）が閾値（ｔ）よりも小さい場合には、小サイズ原石９Ｓのカウント値Ｓｃに１を加算し（ＳＴ４７）、大きい場合には、大サイズ原石９Ｌのカウント値Ｌｃに１を加算する（ＳＴ４８）。
【0031】
ここで、原石品質判定工程において、投入原石９に含まれる小サイズ原石９Ｓおよび大サイズ原石９Ｌの個数の比率（混合割合）または面積の比率に基づき、投入原石を規格サイズの砂利に加工する場合の生産性の良否判断を行うことができる。
【0032】
投入原石９に含まれる大サイズ原石９Ｌの混合割合が多い場合には、先に述べたように（図１０参照）、破砕工程および選別工程を繰り返し行う必要があり、砂利の生産性が低下する。大小サイズの原石の混合割合と、各砂利工場における規格サイズ以下の砂利の生産性との間の相関関係を事前に把握しておけば、判定された投入原石の大小サイズの混合割合を用いて相関関係から砂利の生産性の良否を判断することが可能である。
【0033】
例えば、各砂利工場２において、投入原石９の大小サイズの混合割合と、当該投入原石から設定された規格サイズ以下の砂利を生産した場合の生産性の程度とを管理データベース５２に生産履歴として登録する。各砂利工場２における生産履歴に基づき、投入原石の大小サイズの混合割合と設定された規格サイズ以下の砂利の生産性との間の相関関係を、回帰分析などの統計学的手法を用いて求める。管理サーバ５１の原石品質判定部５５（図１参照）において、求まった相関関係に基づき、投入原石９の大小サイズの混合割合と設定された規格サイズから、投入原石９から砂利を加工する場合の生産性を推定する。推定結果（生産性の良否判定）は、例えば、原石の品質判定結果５６の一つとして撮影画像１１と共に表示画面上にリアルタイムに表示する。管理担当者などは、表示内容に基づき、生産性を高めるための対策を迅速かつ的確に、関連部署に出すことができる。
【0034】
（判定結果表示工程）
管理側システム５の管理側モニター５３の画面上には、原石撮影画像が表示されると共に、判定結果が表示される。図５は表示画面の一例を示す説明図である。この図に示すように、管理側モニター５３の表示画面上に、各原石画像部位がバウンディングボックス１２で囲まれた状態の撮影画像１１が表示される。表示された各バウンディングボックス１２の上辺枠に沿って、算出されたサイズ（面積）が「size 119.0」などと表示される。表示画面５３の表示領域の上側の一方の隅の部位には、サイズ選別用の閾値が「Threshold : 50」などと表示され、その下に、大サイズ原石９Ｌの個数が「Large Count: 5」などと表示され、その下に、小サイズ原石９Ｓの個数が「Small Count: 23」などと表示される。なお、表示形態は一例であり、各種の形態で表示可能である。また、撮影画像１１に含まれている投入原石９の大小サイズの比率、大小サイズの面積の比率なども算出される場合には、円グラフ、棒グラフなどの各種の表示形態で、これらを画面上に表示することができる。
管理側システム５の管理側モニター５３の画面上には、原石撮影画像が表示されると共に、判定結果が表示される。図５は表示画面の一例を示す説明図である。この図に示すように、管理側モニター５３の表示画面上に、各原石画像部位がバウンディングボックス１２で囲まれた状態の撮影画像１１が表示される。表示された各バウンディングボックス１２の上辺枠に沿って、算出されたサイズ（面積）が「size 119.0」などと表示される。表示画面５３の表示領域の上側の一方の隅の部位には、サイズ選別用の閾値が「Threshold : 50」などと表示され、その下に、大サイズ原石９Ｌの個数が「Large Count: 5」などと表示され、その下に、小サイズ原石９Ｓの個数が「Small Count: 23」などと表示される。なお、表示形態は一例であり、各種の形態で表示可能である。また、撮影画像１１に含まれている投入原石９の大小サイズの比率、大小サイズの面積の比率なども算出される場合には、円グラフ、棒グラフなどの各種の表示形態で、これらを画面上に表示することができる。
【0035】
（作用効果）
図６は、本例の砂利生産管理システム１の主要機能・作用を纏めて示す説明図である。上記のように砂利生産管理システム１では、砂利工場２における最初の工程箇所、例えば、原石投入口等のような投入原石９の通過場所にカメラ３３を設置して、投入原石９の撮影画像１１を取得している。取得した撮影画像１１を、原石検出モデル３４を用いて解析し、原石検出結果３５（バウンディングボックス１２の縦横の座標、縦横のサイズ、検知した日時など）を得ている。原石検出結果３５に基づき、管理サーバ５１においては、検出された原石の面積算出、大小のサイズ判定、および大小サイズ原石の個数カウントを行っている。そして、リアルタイムで、検出された原石、数値化された原石の質（サイズと個数）を画面表示している。
図６は、本例の砂利生産管理システム１の主要機能・作用を纏めて示す説明図である。上記のように砂利生産管理システム１では、砂利工場２における最初の工程箇所、例えば、原石投入口等のような投入原石９の通過場所にカメラ３３を設置して、投入原石９の撮影画像１１を取得している。取得した撮影画像１１を、原石検出モデル３４を用いて解析し、原石検出結果３５（バウンディングボックス１２の縦横の座標、縦横のサイズ、検知した日時など）を得ている。原石検出結果３５に基づき、管理サーバ５１においては、検出された原石の面積算出、大小のサイズ判定、および大小サイズ原石の個数カウントを行っている。そして、リアルタイムで、検出された原石、数値化された原石の質（サイズと個数）を画面表示している。
【0036】
本例の砂利生産管理システム１によれば、人手に頼ることなく、投入原石の質が精度良く判定され、作業員、管理者等は、画面上においてリアルタイムに判定結果を確認できる。また、投入原石の撮影画像および判定結果を、砂利生産工場内の各部署に設置した端末、管理事務所に設置した端末、原石採取場に設置した端末で確認できる。よって、投入原石の質などを、工場内、関連施設において共有でき、判定結果に基づく対策、処理などの通知、指示を迅速かつ的確に行うことができる。さらに、人手に頼ることなく、投入原石から設定された規格サイズの砂利を生産する場合の生産性を精度良く判別でき、これに基づき、生産性を改善するための対策、指示などを各関連部門に迅速かつ的確にだすことが可能になる。
【0037】
（履歴管理工程・履歴情報の活用）
図７は、砂利生産管理システム１において管理データベース５２に収集された砂利生産管理等の履歴情報の活用例を示す説明図である。この図に示すように、本例の砂利生産管理システム１においては、砂利工場２で行われる砂利生産工程の砂利生産管理の履歴情報が管理データベース５２に登録される。履歴情報には、投入原石を特定する原石情報（原石採取場の特定情報）、砂利生産状況、投入原石の品質判定結果、物流履歴などを含めることができる。物流履歴には、例えば、原石採取場から砂利工場への原石搬入履歴、砂利工場における搬入原石の取り扱い履歴、生産された砂利の出荷履歴などを含めることができる。
図７は、砂利生産管理システム１において管理データベース５２に収集された砂利生産管理等の履歴情報の活用例を示す説明図である。この図に示すように、本例の砂利生産管理システム１においては、砂利工場２で行われる砂利生産工程の砂利生産管理の履歴情報が管理データベース５２に登録される。履歴情報には、投入原石を特定する原石情報（原石採取場の特定情報）、砂利生産状況、投入原石の品質判定結果、物流履歴などを含めることができる。物流履歴には、例えば、原石採取場から砂利工場への原石搬入履歴、砂利工場における搬入原石の取り扱い履歴、生産された砂利の出荷履歴などを含めることができる。
【0038】
日付が紐付けされている履歴情報を分析して、各砂利工場などにおける砂利生産管理を効率良く行うことができる。例えば、履歴情報の分析結果から、生産性の改善などに関係する新たなパラメータが見つかる場合がある。このような生産性の判断に有効なパラメータを原石品質判定に反映することができる。例えば、先に述べた生産性と投入原石の大小サイズの比率との相関関係に加えて、
原石採取場の場所（位置、地質など）、進捗状況（採取深度など）と、採取された原石の大小サイズの面積比率との相関、
原石採取場と、設定された規格サイズの砂利の生産性との相関、
などを分析することができる。
原石採取場の場所（位置、地質など）、進捗状況（採取深度など）と、採取された原石の大小サイズの面積比率との相関、
原石採取場と、設定された規格サイズの砂利の生産性との相関、
などを分析することができる。
【0039】
図８は原石サイズ（面積）と砂利の製造量との分析結果の一例を示す説明図である。図８（Ａ）に示す原石サイズＤＢは日時（タイムスタンプ）が紐付けされた面積（採取された原石の合計面積）であり、図８（Ｂ）に示す製造ＤＢは、日時（タイムスタンプ）が紐付けされた各砂利工場における製品重量である。図８（Ｃ）に示すように、一般的に、製品量と面積とは高い相関を示し、面積が小さいほど、製品量が多くなる。この相関に基づき、面積が所定の値以下の場合、あるいは、製品量が所定の値以上の場合に、原石品質が良であると判定することができる。
【0040】
図９は原石サイズと物流関連の履歴情報との分析例を示す説明図である。図９（Ａ）に示す原石サイズＤＢの内容は図８（Ａ）と同様である。図９（Ｂ）に示す物流ＤＢには、日時に紐付けされた原石の出発地情報（採取場情報）、到着地情報（砂利工場情報）が含まれる。これらの情報には、出発地（採取場）の地質情報が含まれる。また、出発地（採取場）から到着地（砂利工場）の緯度経度情報が含まれ、これらの情報に基づき、出発地から到着地までの距離に関する情報を生成できる。また、各工区での掘削時間に関する情報も生成できる。
【0041】
これらの情報に基づき、図９（Ｃ）に示すように、各工区の位置と各工区の原石の平均サイズとの対応関係を分析できる。また、図９（Ｄ）に示すように、或る起点Ａからの距離と、平均サイズとの関係を分析できる。さらに、図９（Ｅ）に示すように、各工区における掘削時間（進捗度）と平均サイズとの関係を分析できる。
【0042】
なお、管理データベース５２に蓄積した履歴情報から各種の分析を行うことが可能であり、上記の分析例に限定されるものではない。
【符号の説明】
【0043】
１ 砂利生産管理システム
２ 砂利工場
３ 工場側システム
４ 管理事務所
５ 管理側システム
６ 原石採取場
７ 採取場側システム
８ 通信回線
９ 原石（投入原石）
９Ｌ 大サイズ原石
９Ｓ 小サイズ原石
１０ 後処理工程
１１ 撮影画像
１２ バウンディングボックス
２１ 原石投入口
２２ 篩
２３ 破砕工程
２４ 選別工程
２５ 出荷部門
３１ エッジデバイス
３２ 工場側モニター
３３ カメラ
３４ 原石検出モデル
３５ 原石検出結果
３６ 送受信部
３７ 表示制御部
５１ 管理サーバ
５２ 管理データベース
５３ 管理側モニター
５４ 送受信部
５５ 原石品質判定部
５６ 品質判定結果
５７ 表示制御部
５８ 通信網
５９ 端末機器
７１ モニター
７２ 携帯用通信端末
２ 砂利工場
３ 工場側システム
４ 管理事務所
５ 管理側システム
６ 原石採取場
７ 採取場側システム
８ 通信回線
９ 原石（投入原石）
９Ｌ 大サイズ原石
９Ｓ 小サイズ原石
１０ 後処理工程
１１ 撮影画像
１２ バウンディングボックス
２１ 原石投入口
２２ 篩
２３ 破砕工程
２４ 選別工程
２５ 出荷部門
３１ エッジデバイス
３２ 工場側モニター
３３ カメラ
３４ 原石検出モデル
３５ 原石検出結果
３６ 送受信部
３７ 表示制御部
５１ 管理サーバ
５２ 管理データベース
５３ 管理側モニター
５４ 送受信部
５５ 原石品質判定部
５６ 品質判定結果
５７ 表示制御部
５８ 通信網
５９ 端末機器
７１ モニター
７２ 携帯用通信端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
