(58)【調査した分野】(Int.Cl.,DB名)
前記外部端末から送信される所定の形状を含むカウント対象物の画像データは、カウント対象物の画像の領域が切り取られているものである、請求項1または2に記載の計数方法。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示は、所定の形状を含むカウント対象物の画像データ、例えば、断面が円形や四角形である鋼管の画像データを利用して、カウント対象物、例えば、鋼管を効率よく且つ正確に計数する計数方法、計数システム、及び係数のためのコンピュータプログラムを提示する。
【課題を解決するための手段】
【0009】
本開示の計数方法は、
処理回路により、外部端末から送信される、所定の形状を含むカウント対象物の画像データを取得するステップと、
前記処理回路により、所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、前記所定のラベルは所定の色である、用意するステップと、
前記処理回路により、前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得するステップと、
前記処理回路により、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調するステップと、
前記処理回路により、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップと、
前記処理回路により、前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物を、計数するステップと、
前記処理回路により、前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信するステップと、
前記処理回路により、前記外部端末から送信される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップと
を含む。
前記計数方法において、前記所定の形状が円形または四角形であり、
更に、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップにおいては、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径r及び直径2rの理論値を仮定し、個々の領域の面積πr
2及び個々の領域の外周2πrを求め、その上で、領域の面積πr
2及び領域の外周2πrについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺a及び長辺bの理論値を仮定し、個々の領域の面積ab及び個々の領域の外周2a+2bを求め、その上で、領域の面積ab及び領域の外周2a+2bについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
【0010】
本開示の計数システムは、インタフェース装置と、記憶装置と、処理回路とを含む。
前記計数システムには、
所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルが構築されており、
前記所定のラベルは所定の色であり、
前記処理回路は、
外部端末から送信され前記記憶装置に記録される、所定の形状を含むカウント対象物の画像データを、前記インタフェース装置を介して取得し、
前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得し、
前記出力画像データにて、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調し、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去し、
前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物の数を計数し、
前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信し、
前記外部端末から送信され前記記憶装置に記録される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、前記インタフェース装置を介して取得する。
前記計数システムにおいて、前記所定の形状が円形または四角形であり、
更に、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する際には、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径r及び直径2rの理論値を仮定し、個々の領域の面積πr
2及び個々の領域の外周2πrを求め、その上で、領域の面積πr
2及び領域の外周2πrについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺a及び長辺bの理論値を仮定し、個々の領域の面積ab及び個々の領域の外周2a+2bを求め、その上で、領域の面積ab及び領域の外周2a+2bについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
【発明の効果】
【0011】
本開示の計数方法及び計数システムは、所定の形状を含むカウント対象物の画像データを利用して、カウント対象物を効率よく且つ正確に計数することができる。
【発明を実施するための形態】
【0013】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0014】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0015】
1.[本開示に至る経緯]
鋼管業、例えば、パイプ製造業のメーカは、様々なサイズのパイプについて各サイズ別に貯蔵し運搬するのが一般的である。パイプの貯蔵の際、特に、棚卸等の際には、一塊や一束のパイプの本数を、正確に且つ迅速に計数することが求められる。しかしながら、現状では、多数のパイプの端面方向から多数のパイプ全体の静止画を撮り、その静止画に基づいて最終的には手作業で計数することが多い。
【0016】
多数のパイプの端面方向からの多数のパイプ全体の静止画では、各パイプの画像は、筒形の内部に円形や四角形の影部分を有する。そこで、本発明者は、所定の形状(例えば、円形や四角形)を含むカウント対象物(例えば、円筒や角筒のパイプ)の数を、カウント対象物の画像をコンピュータシステムに入力することにより、自動的に計数することに、想到した。
【0017】
なお、以下では、主として、端部から見て内部に円形の影部分を有する、円筒形のパイプの本数を計数する本発明の計数システム及び計数方法について説明するが、本発明は、内部に円形の影部分を有する円筒形のパイプの本数を計数する計数システム及び計数方法に限定されない。四角形や三角形やその他の多角形などの、所定の形状を含むカウント対象物の画像データから、カウント対象物の数を計数する計数システム及び計数方法において、本発明は適用され得る。なお
図9は、内部に四角形の影部分を含む多数の角筒形のパイプの画像データの例を示す図である。
【0018】
2.[実施の形態]
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。
【0019】
2.1.[システム構成]
実施の形態に係る計数システム及び計数方法は、所定の形状を含むカウント対象物の画像データから、カウント対象物の数を自動的に計数するための、システム及び方法である。
図1は、本実施の形態に係る計数システム2のシステム構成図である。所定の形状を含むカウント対象物の画像データとは、例えばカウント対象物に含まれる所定の形状を認識できる状態の画像データを意味する。
【0020】
計数システム2は、コンピュータ装置4及び記憶装置12を有する。コンピュータ装置4及び記憶装置12は有線または無線の通信回線で接続されており、互いにデータを送受信可能である。計数システム2はさらに外部ネットワーク18に接続されており、外部ネットワーク18に接続された他のコンピュータシステムとの間でデータを授受する。計数システム2は、特に、外部端末16と接続する。更に、計数システム2は、学習サーバ14と接続するのが望ましい。
【0021】
コンピュータ装置4は、一つ以上のプロセッサを搭載するサーバ機、若しくはワークステーションコンピュータ等である。
【0022】
記憶装置12は、ディスクドライブやフラッシュメモリ等の、コンピュータ装置4の外部に設けられる記憶装置であり、コンピュータ装置4で用いられる各種データベース、各種データセット、及び、各種コンピュータプログラムを記憶する。記憶装置12には、例えば、後で説明する、外部端末16から送信される画像データが記録される。
【0023】
外部端末16は、スマートホンやタブレット端末であり、撮像機能(カメラ機能)を備える。外部端末16は、画像データ及び計数データを計数システム2と送受信する。
【0024】
学習サーバ14は、記憶装置12に記録される画像データ等を用いて、後で説明する機械学習モデルの学習を行う。
【0025】
外部ネットワーク18は、例えば、インターネットであり、ネットワーク端子等のインタフェース装置6を介して、コンピュータ装置4と接続する。
【0026】
更にコンピュータ装置4は、インタフェース装置6、処理回路8、及びメモリ10を含む。
【0027】
インタフェース装置6は、ネットワーク端子、映像入力端子、USB端子、キーボード、マウス等を含む、外部からデータを取得可能なインタフェースユニットである。外部から、インタフェース装置6を介して、種々のデータが取得される。データは、例えば、後で説明する、所定の形状を含むカウント対象物の画像データ、及び、訂正後の計数済み出力画像データである。取得後、これらのデータは、記憶装置12に記録され得る。記憶装置12に記録されるデータは適宜、インタフェース装置6を介して、コンピュータ装置4内に取得され得る。
【0028】
更に、計数システム2により生成される各種データは、記憶装置12に適宜記録される。各種データは、例えば、後で説明する、学習済み機械学習モデルから出力される出力画像データ、及び、計数済み出力画像データである。このような計数システム2により生成され記憶装置12に適宜記録される各種データは、インタフェース装置6を介して、コンピュータ装置4内に再び取得され得る。
【0029】
処理回路8は、プロセッサにより構成される。ここでのプロセッサは、CPU(Central Processing Unit;中央処理ユニット)やGPU(Graphics Processing Unit;画像処理ユニット)を包括するものである。本実施の形態に係る計数システム2の各種処理は、各種プログラムを処理回路8が実行することによって実現される。なお、当該各種処理は、ASIC(Application Specific Integrated Circuit)などによって実現されてもよいし、これらの組合せによって実現されてもよい。
【0030】
本開示における処理回路8は、複数台の信号処理回路から構成されてもよい。各信号処理回路は、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)であり、「プロセッサ」と呼ばれ得る。本実施の形態に係る計数システム2における様々な処理の一部をあるプロセッサ(例えば、或るGPU)が実行し、他の一部の処理を他のプロセッサ(例えば、或るCPU)が実行してもよい。
【0031】
メモリ10は、コンピュータ装置4内部のデータ書き換えが可能な記憶部であり、例えば、多数の半導体記憶素子を含むRAM(Random Access Memory)により構成される。メモリ10は、処理回路8が様々な処理を実行する際の、具体的なコンピュータプログラムや、変数値や、パラメータ値等を一時的に格納する。なおメモリ10は、いわゆるROM(Read Only Memory)を含んでもよい。ROMには、以下で説明する計数システム2の処理を実現するコンピュータプログラムが予め格納されている。処理回路8がROMからコンピュータプログラムを読み出し、RAMに展開することにより、処理回路8が当該コンピュータプログラムを実行可能になる。
【0032】
本実施の形態に係る計数システム2は、Python等のコンピュータ言語を用いて構築されている。本開示に係る計数システム2の構築のために用いられ得るコンピュータ言語はこれらに限定されるものでは無く、勿論、他のコンピュータ言語が用いられてもよい。
【0033】
更に、本実施の形態に係る計数システム2においては、学習済みの機械学習モデルが構築されている。本実施の形態に係る機械学習モデルは、後でも説明するように、例えば、U−Net(
図10参照)などのネットワーク構造を用いて構築される。
【0034】
2.1.1.[機械学習モデルの構成]
本実施の形態に係る機械学習モデルは、計数システム2に接続する学習サーバ14にて学習が行われる。
図8は、機械学習モデルに対する教師データの例を示す図である。本実施の形態に係る機械学習モデルは、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データ(正解データ)とを教師データとして学習が行われる。
【0035】
図8(1)は、外部端末16により、若しくは他の撮像装置(カメラ)により撮像される、所定の形状を含むカウント対象物の画像の例である。
図8(1)は、パイプの束の端面からの撮像画像であり、カウント対象物である、パイプの中に円形の影部分が含まれている。
【0036】
一方、正解データである
図8(2)は、
図8(1)の画像において、パイプの中の円形の影部分に、ラベルであるグレーの円形が、付されているものである。つまり、カウント対象物であるパイプに含まれる、所定の形状である円形の影部分に、グレーの円形が隈なく付されたものが、正解データとされている。
【0037】
図8(1)に示すような画像データに対して、適宜のペインティングツールを用いて、
図8(2)に示すような正解データが作成されてよい。但し、このような作成(ラベル付け)は、略手作業で行われるものであり、膨大な手間と時間が掛かるのが一般的である。そこで、データ拡張(Data Augmentation)の手法を用いて、教師データのデータセットを大量に作成するのが望ましい。
【0038】
本実施の形態に係る機械学習モデルは、画像データを入出力するものであり、様々な手法を用いて構築され得る。一般的なCNN(畳み込みニューラルネットワーク)を用いることができる。更に、オートエンコーダを用いてもよい。
【0039】
更に具体的には、FCN(Fully Convolutional Network)、U−net(
図10参照)、SegNet等の手法が用いられ得る。
図10は、U―netのネットワーク構造の例を示す図である。
図10に示すネットワーク構造では入力画像と特徴マップのサイズが記載されているが、入力画像サイズは固定されない。また、出力は2チャンネルである。
【0040】
これらの手法が用いられるモデルにおいて、res−netのようにニューラルネットワークにSkip Connectionの構造が設けられてもよい。また、それらのモデルにおいてニューラルネットワークにBatch Normalizationの構造が設けられてもよい。更に、それらのモデルにおいてニューラルネットワークにDropoutの構造が設けられてもよい。
【0041】
2.2.[システムの動作]
図2Aは、本実施の形態に係る計数システム2の計数処理の動作を示すフローチャートである。
【0042】
処理回路8は、外部端末16から送信される、所定の形状を含むカウント対象物、即ち、例えば、円形や四角形の影部分を含むパイプの画像データを、インタフェース装置6を介して取得する(ステップS04)。
図9は、内部に四角形の影部分を含む多数の角筒形のパイプの画像データの例を示す図である。
【0043】
一方、
図3Aは、外部端末16の表示画面における、円形の影部分を含むパイプの画像データの例を示す図である。所定の形状を含むカウント対象物の画像は、外部端末16の撮像機能(カメラ機能)により撮像される。外部端末16は、別体のカメラが撮像した画像を吸い上げて利用してもよい。なお、外部端末16には、画像の一部領域を除去する機能が備わるのが好ましい。つまり、外部端末16は、例えば、
図3Aに示す画像において、点線を引くことにより当該点線で囲む、パイプを含む画像領域と、パイプを全く含まない画像領域とを区別した上で、当該パイプを全く含まない画像領域を除去する機能を備えるのが好ましい。
図3Bは、パイプを全く含まない画像領域が除去されてパイプを含む画像領域のみが残された画像データを示す図である。外部端末16は、パイプを含む画像領域のみから成る画像データを、計数システム2へ送信することになる。このようにすることで、学習済み機械学習モデルにより所定のラベルが誤って付与されることの可能性を低くすることができる。なお上記例において、パイプを含む画像領域と、パイプを全く含まない画像領域とを区別することなく計数システム2へ画像データを送信してもよく、また当該送信された画像データについて計数システム2でパイプを含む画像領域と、パイプを全く含まない画像領域とを区別する処理を行ってもよい。
【0044】
外部端末16が送信する画像データは、処理回路8により取得されると共に、記憶装置12に記録される。
【0045】
続いて、本実施の形態に係る計数システム2のコンピュータ装置4の処理回路8は、学習済みの機械学習モデルを用意する(ステップS06)。前に説明したように、本実施の形態に係る計数システム2においては、学習済みの機械学習モデルが構築されている。当該学習済みの機械学習モデルは、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データ(正解データ)とを教師データとして学習が行われたものである。
【0046】
ここで、ステップS04にて取得される画像データにおける所定の形状が、例えば、円形であるか若しくは四角形であるか、手動によりインタフェース装置6を介して設定され得るように、計数システム2が構成されていてもよい。このことを受けて、手動により設定される所定の形状が円形である場合には、所定の形状である円形を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状である円形に所定のラベルが付されたカウント対象物の画像データ(正解データ)とを教師データとして学習が行われた、円形のための学習済みの機械学習モデルが用意されるのが望ましい。また、手動により設定される所定の形状が四角形である場合には、所定の形状である四角形を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状である四角形に所定のラベルが付されたカウント対象物の画像データ(正解データ)とを教師データとして学習が行われた、四角形のための学習済みの機械学習モデルが用意されるのが望ましい。
【0047】
また、ステップS04にて取得される画像データにおける所定の形状が、例えば、円形であるか若しくは四角形であるか、については、処理回路8が、外部端末16から送信される、所定の形状を含むカウント対象物の画像データにおける、一つ若しくは複数のカウント対象物に含まれる形状に基づいて自動的に認識するように、計数システム2が構成されていてもよい。このことを受けて、自動的に認識される所定の形状が円形である場合には、上述のような、円形のための学習済みの機械学習モデルが用意されるのが望ましい。また、自動的に認識される所定の形状が四角形である場合には、上述のような、四角形のための学習済みの機械学習モデルが用意されるのが望ましい。
【0048】
また、ステップS04にて取得される画像データにおける所定の形状が、例えば、円形であるか若しくは四角形であるか、について、手動により何ら設定されず、且つ、自動的にも認識されない、というように、計数システム2が構成されてもよい。このような場合には、円形も四角形も含まれ得る所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる、円形でも四角形でもある所定の形状に所定のラベルが付されたカウント対象物の画像データ(正解データ)とを教師データとして学習が行われた、円形のためでも四角形のためでもある学習済みの機械学習モデルが用意されるのが望ましい。
【0049】
続いて、計数システム2のコンピュータ装置4の処理回路8は、カウント対象物の画像データ、即ち、パイプの画像データを、学習済み機械学習モデルに入力して、当該学習済み機械学習モデルから出力される出力画像データを取得する(ステップS08)。
【0050】
図4は、学習済み機械学習モデルにおける、(a)インプット画像、(b)アウトプット画像、及び、(t)教師画像(正解データ)の、夫々の例を示す図である。学習済み機械学習モデルは、(a)インプット画像における、パイプに含まれる円形の影部分の領域を探し、検出した円形の影部分にラベルを付して(b)アウトプット画像を出力する。なお、
図4(t)は、想定される正解データの画像を示している。
【0051】
ステップS08の後、且つ、次のステップS10の前にて、以下の「ステップS08−(1)」及び「ステップS08−(2)」が行われてもよい。
図2Bは、ステップS08の後、且つ、次のステップS10の前にて、実行され得る、[コントラスト強調(ステップS08−(1))]と[ノイズの消去(ステップS08−(2))]との処理フローを示す図である。
【0052】
2.2.1.[コントラスト強調(ステップS08−(1))]
学習済み機械学習モデルの出力画像にて、予測結果における確信度が低い領域は、例えば、ラベルが緑色であるとするならば、低い色相の緑、即ち、薄い緑で表示される。つまり、確信度に対応する(緑の)色相の画素値が低くなっている。
図5(a)は、薄い緑(図では、グレー)の領域を含む出力画像の例である。これらの領域について、コントラストを強調する。ここでのコントラストの強調は、後の、ステップS08−(2)におけるノイズ消去処理や、ステップS10における計数(カウント)処理を行いやすくするために行われる。
図5(b)は、
図5(a)に示す出力画像に基づいて、薄い緑(図では、グレー)領域のコントラストを強調した、出力画像の例である。
【0053】
2.2.2.[ノイズの消去(ステップS08−(2))]
コントラスト強調された出力画像にて微小領域や線状になっている領域などのノイズを消去する。
図6(a)は、
図5(b)と同じ出力画像であり、ノイズである微小領域の消去前の画像の例である。
図6(a)の画像に対して、微小領域がノイズとして消去され、
図6(b)の微小領域の消去後の画像となる。
【0054】
消去すべき、微小領域などのノイズを決定する方法は様々有り、特に限定されない。例えば、以下のようにして、ノイズの領域が決定されてもよい。
【0055】
[ノイズ領域の決定の方法の例]
本実施の形態の例では、所定の形状は、例えば、円形や四角形と想定されている。そこで、所定の形状が円形であるような場合には、次のようにしてノイズの領域が決定され得る。つまり、
図6(a)等に示される、個々の領域について中心点を先ず求め、中心点に基づいて個々の領域の半径「r」及び直径「2r」の理論値を仮定し、個々の領域の面積「πr
2」及び個々の領域の外周「2πr」を求める。領域の面積「πr
2」及び領域の外周「2πr」について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する領域についてノイズとする。この方法を採用する場合、過大領域もノイズと決定される。
【0056】
ここでの「所定の閾値」は、例えば、全部の領域の面積若しくは外周についての、標準偏差であってもよいし、標準偏差の係数倍(例えば、0.8倍)の値などであってもよい。また「所定の閾値」は、例えば、特定の数値であってもよい。以下も同様である。
【0057】
また、例えば、所定の形状が四角形であるような場合には、次のようにしてノイズの領域が決定され得る。つまり、個々の領域の短辺「a」及び長辺「b」の理論値を仮定し、個々の領域の面積「ab」及び個々の領域の外周「2a+2b」を求める。領域の面積「ab」及び領域の外周「2a+2b」について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域についてノイズとする。
【0058】
更に、例えば、所定の形状が正三角形であるような場合にも、個々の領域について中心点を先ず求め、中心点に基づいて個々の三角形領域の1辺「l」の理論値を仮定し、個々の領域の面積
【数1】
及び個々の領域の外周「3l」を求め、領域の面積及び領域の外周について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する領域について、ノイズと決定することができる。
【0059】
より一般的には、次のようにノイズの領域が決定され得る。
図6(a)に示されるような画像において、個々の領域について、個々の領域の周囲を仮定し、個々の領域の面積及び個々の領域の外周を求める。領域の面積及び領域の外周について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域についてノイズとする。この方法を採用する場合も、過大領域もノイズと決定される。
【0060】
また、特に、個々の領域を構成する画素及び画素数に基づいて、ノイズの領域を決定することもできる。ここでの「個々の領域を構成する画素」は、上述の[コントラスト強調(ステップS08−(1))]のステップにて、コントラストが強調された画素である。つまり、
図6(a)に示されるような画像において、個々の領域について、個々の領域の外郭に存在する複数の画素を領域の周囲と仮定し、個々の領域の周囲の画素数により個々の領域の外周を求め、個々の領域の周囲の、及び周囲の内側の画素数により個々の領域の面積を求める。領域の面積及び領域の外周について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域についてノイズとする。
[ノイズ領域の決定の方法の例、以上]
【0061】
ステップS08に続いて、処理回路8は、出力画像データにおける、所定のラベルが付された所定の形状を含むカウント対象物の数を計数する(ステップS10)。
【0062】
続いて、処理回路8は、出力画像データに、計数されたカウント対象物の数を添付した、計数済み出力画像データを作成して、外部端末16に送信(返信)する(ステップS12)。
【0063】
ここで、外部端末16の操作者は、送信(返信)されてきた計数済み出力画像データに対して、必要に応じて訂正を行う。
図7は、外部端末16の表示画面における、計数済み出力画像データの訂正のためのアプリケーション画面の例を示す。
図7に示す訂正のためのアプリケーション画面では、まず左上部にカウント対象物のカウント数が表示されている。
【0064】
更に、
図7に示す訂正のためのアプリケーション画面では、ラベル追加ボタン30と、ラベル消去ボタン32が設けられている。計数済み出力画像データにて、ラベルが付されるべき所定の形状の部分にラベルが付されておらず、操作者がその部分にラベルを付そうとするような場合、例えば、その部分を或る指でタッチしつつ別の指でラベル追加ボタン30をタッチすることにより、その部分にラベルを追加することができるように、本アプリケーションは構築されている。画面の左端のバー34は、追加するラベルの大きさを調整するためのバーである。
【0065】
一方、計数済み出力画像データにて、ラベルが付されるべきでない部分にラベルが付されており、操作者がその部分のラベルを消去しようとするような場合、例えば、その部分を或る指でタッチしつつ別の指でラベル消去ボタン32をタッチすることにより、その部分のラベルを消去することができるように、本アプリケーションは構築されている。ラベル追加ボタン30、及び、ラベル消去ボタン32の操作により、画面の左上部におけるカウント対象物のカウント数が変動する。
【0066】
訂正完了後、操作者は、外部端末16から、計数済み出力画像データにて所定のラベルが付されていないカウント対象物の所定の形状に対して追加的に所定のラベルが付された、若しくは、計数済み出力画像データにて付されている所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、計数システム2のコンピュータ装置4に送信する。よって、本実施の形態の計数システム2の処理回路8は、外部端末16から送信される、計数済み出力画像データにて所定のラベルが付されていないカウント対象物の所定の形状に対して追加的に所定のラベルが付された、若しくは、計数済み出力画像データにて付されている所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、前記インタフェース装置を介して取得する(ステップS14)。
【0067】
外部端末16が送信する訂正後の計数済み画像データは、処理回路8により取得されて、記憶装置12に記録される。
【0068】
以上、ステップS04〜ステップS14が、本実施の形態に係る計数システム2の計数処理の動作である。
【0069】
2.2.3.[学習済み機械学習モデルの追加学習]
本実施の形態に係る計数システム2にて構築されている学習済み機械学習モデルは、計数システム2に接続する学習サーバ14を用いて追加学習を行うように構成されている。この際の教師データは、記憶装置12に記録されている所定の形状を含むカウント対象物の画像データと、それに対応する、訂正後の計数済み出力画像データとである。前述のように、訂正後の計数済み出力画像データも記憶装置12に記録されている。
【0070】
この追加学習は、外部端末16の操作者が、計数済み出力画像データを確認しつつ作成する、訂正後の計数済み出力画像データを正解データとすることで、実施されるものである。
【0071】
本実施の形態に係る計数システム2は、追加学習に基づいて、学習済みの機械学習モデルを再構築する。
【0072】
2.3.[実施の形態のまとめ]
本実施の形態に係る計数方法は、処理回路8により、外部端末16から送信される、所定の形状を含むカウント対象物の画像データを取得するステップと、処理回路8により、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、所定のラベルは所定の色である、用意するステップと、処理回路8により、カウント対象物の画像データを学習済み機械学習モデルに入力し、学習済み機械学習モデルから出力される出力画像データを取得するステップと、処理回路8により、所定のラベルである所定の色が付された所定の形状の、所定の色のコントラストを強調するステップと、処理回路8により、所定のラベルである所定の色の付された所定の形状ではない領域を消去するステップと、処理回路8により、出力画像データにおける、所定のラベルが付された所定の形状を含むカウント対象物を、計数するステップと、処理回路8により、出力画像データに、計数されたカウント対象物の数を添付した計数済み出力画像データを作成して、外部端末16に送信するステップと、処理回路8により、外部端末16から送信される訂正後の計数済み出力画像データであって、計数済み出力画像データにて所定のラベルが付されていないカウント対象物の所定の形状に対して追加的に所定のラベルが付された、若しくは、計数済み出力画像データにて付されている所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップとを含む。更に、所定の形状が円形または四角形である。更に、上述の、所定のラベルである所定の色の付された所定の形状ではない領域を消去するステップにおいては、個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径r及び直径2rの理論値を仮定し、個々の領域の面積πr
2及び個々の領域の外周2πrを求め、その上で、領域の面積πr
2及び領域の外周2πrについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。個々の領域について四角形の場合は、個々の領域の短辺a及び長辺bの理論値を仮定し、個々の領域の面積ab及び個々の領域の外周2a+2bを求め、その上で、領域の面積ab及び領域の外周2a+2bについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
【0073】
以上の計数方法では、所定の形状を含むカウント対象物の画像データを利用して、カウント対象物を効率よく且つ正確に計数することができる。
【0074】
3.[他の実施の形態]
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【0075】
上述の実施の形態では、端部から見て内部に円形や四角形の影部分を有する円筒形のパイプの本数を計数する計数システム及び計数方法について説明したが、本開示における技術は、内部に円形や四角形の影部分を有するパイプの本数を計数する計数システム及び計数方法に限定されるものではない。三角形やそれ以外の多角形などの所定の形状を含むカウント対象物の画像データに基づいて、カウント対象物の数を計数する計数システム及び計数方法において、本開示における技術は適用され得る。
【0076】
また、例えば、上述の実施の形態における訂正後の計数済み出力画像データを、商品であるカウント対象物(例えば、パイプ)の出荷時に発行される伝票データと結び付けることで、実施の形態に係る計数システム2とリンクする商品販売管理システムは、適正に且つ効率的に出荷指示データ及び出荷実績データを作成することができる。また、当該商品販売管理システムは、上述の実施の形態における訂正後の計数済み出力画像データを、商品販売先への請求データと結び付けることで、正確かつ迅速に請求データを発行することができる。例えば、伝票データなどに基づき、当該画像データに含まれるはずのカウント対象物の数に関するデータを処理回路8に提供できる場合、処理回路8は当該画像データに含まれるはずのカウント対象物の数とステップS10とのカウント数との差を算出し、当該差がある場合に外部端末16のアプリケーション画面に何らかの表示(警告表示や差分)を行うようにしてもよい。
【0077】
また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0078】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【解決手段】計数方法は、学習済みの機械学習モデルを用意するステップと、カウント対象物の画像データを取得するステップと、カウント対象物の画像を学習済み機械学習モデルに入力し、出力される出力画像データを取得するステップと、出力画像データにおける所定のラベルが付された所定の形状を含むカウント対象物を計数するステップと、計数済み出力画像データを作成して送信するステップと、訂正後の計数済み出力画像データを、取得するステップと、を含む。計数するステップの前に、所定のラベルが付された所定の形状を含むカウント対象物のうちから、面積の平均値若しくは外周の平均値に基づいてノイズの領域を決定し、それらを消去する。