▶ 株式会社Ａｎａｍｏｒｐｈｏｓｉｓ Ｎｅｔｗｏｒｋｓの特許一覧
特開2022-167756計数方法、計数システム、及び計数のためのコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022167756
(43)【公開日】2022-11-04
(54)【発明の名称】計数方法、計数システム、及び計数のためのコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221027BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021168363
(22)【出願日】2021-10-13
(11)【特許番号】
(45)【特許公報発行日】2021-12-17
(31)【優先権主張番号】P 2021072817
(32)【優先日】2021-04-22
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】519449275
【氏名又は名称】株式会社Ａｎａｍｏｒｐｈｏｓｉｓ Ｎｅｔｗｏｒｋｓ
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100189544
【弁理士】
【氏名又は名称】柏原 啓伸
(72)【発明者】
【氏名】辻本 翔悟
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096BA03
5L096BA08
5L096CA02
5L096DA02
5L096EA37
5L096FA04
5L096FA05
5L096FA06
5L096FA15
5L096FA52
5L096FA59
5L096FA62
5L096FA64
5L096GA40
5L096HA11
5L096KA03
5L096KA04
(57)【要約】
【課題】所定の形状を含むカウント対象物の画像データを利用して、カウント対象物を効率よく且つ正確に計数する。
【解決手段】計数方法は、学習済みの機械学習モデルを用意するステップと、カウント対象物の画像データを取得するステップと、カウント対象物の画像を学習済み機械学習モデルに入力し、出力される出力画像データを取得するステップと、出力画像データにおける所定のラベルが付された所定の形状を含むカウント対象物を計数するステップと、計数済み出力画像データを作成して送信するステップと、訂正後の計数済み出力画像データを、取得するステップと、を含む。計数するステップの前に、所定のラベルが付された所定の形状を含むカウント対象物のうちから、面積の平均値若しくは外周の平均値に基づいてノイズの領域を決定し、それらを消去する。
【選択図】図１
【解決手段】計数方法は、学習済みの機械学習モデルを用意するステップと、カウント対象物の画像データを取得するステップと、カウント対象物の画像を学習済み機械学習モデルに入力し、出力される出力画像データを取得するステップと、出力画像データにおける所定のラベルが付された所定の形状を含むカウント対象物を計数するステップと、計数済み出力画像データを作成して送信するステップと、訂正後の計数済み出力画像データを、取得するステップと、を含む。計数するステップの前に、所定のラベルが付された所定の形状を含むカウント対象物のうちから、面積の平均値若しくは外周の平均値に基づいてノイズの領域を決定し、それらを消去する。
【選択図】図１
【特許請求の範囲】
【請求項1】
処理回路により、外部端末から送信される、所定の形状を含むカウント対象物の画像データを取得するステップと、
前記処理回路により、所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、前記所定のラベルは所定の色である、用意するステップと、
前記処理回路により、前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得するステップと、
前記処理回路により、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調するステップと、
前記処理回路により、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップと、
前記処理回路により、前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物を、計数するステップと、
前記処理回路により、前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信するステップと、
前記処理回路により、前記外部端末から送信される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップと
を含む、計数方法であって、
前記所定の形状が円形または四角形であり、
更に、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップにおいては、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする、計数方法。
前記処理回路により、所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、前記所定のラベルは所定の色である、用意するステップと、
前記処理回路により、前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得するステップと、
前記処理回路により、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調するステップと、
前記処理回路により、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップと、
前記処理回路により、前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物を、計数するステップと、
前記処理回路により、前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信するステップと、
前記処理回路により、前記外部端末から送信される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップと
を含む、計数方法であって、
前記所定の形状が円形または四角形であり、
更に、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップにおいては、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする、計数方法。
【請求項2】
更に、
前記機械学習モデルについて学習を行う学習サーバにより、記憶装置に記録される所定の形状を含むカウント対象物の画像データと、前記記憶装置に記録される訂正後の計数済み出力画像データとを教師データとして前記機械学習モデルについて追加学習を行うステップと、
前記処理回路により、前記追加学習に基づいて、前記学習済みの機械学習モデルを再構築するステップと
を含む、請求項１に記載の計数方法。
前記機械学習モデルについて学習を行う学習サーバにより、記憶装置に記録される所定の形状を含むカウント対象物の画像データと、前記記憶装置に記録される訂正後の計数済み出力画像データとを教師データとして前記機械学習モデルについて追加学習を行うステップと、
前記処理回路により、前記追加学習に基づいて、前記学習済みの機械学習モデルを再構築するステップと
を含む、請求項１に記載の計数方法。
【請求項3】
前記外部端末から送信される所定の形状を含むカウント対象物の画像データは、カウント対象物の画像の領域が切り取られているものである、請求項１または２に記載の計数方法。
【請求項4】
前記カウント対象物が鋼管である、
請求項１～３のいずれか１項に記載の計数方法。
請求項１～３のいずれか１項に記載の計数方法。
【請求項5】
計数システムであって、
前記計数システムは、インタフェース装置と、記憶装置と、処理回路とを含み、
前記計数システムには、
所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルが構築されており、
前記所定のラベルは所定の色であり、
前記処理回路は、
外部端末から送信され前記記憶装置に記録される、所定の形状を含むカウント対象物の画像データを、前記インタフェース装置を介して取得し、
前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得し、
前記出力画像データにて、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調し、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去し、
前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物の数を計数し、
前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信し、
前記外部端末から送信され前記記憶装置に記録される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、前記インタフェース装置を介して取得する
ものである、計数システムにおいて、
前記所定の形状が円形または四角形であり、
更に、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する際には、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする、計数システム。
前記計数システムは、インタフェース装置と、記憶装置と、処理回路とを含み、
前記計数システムには、
所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルが構築されており、
前記所定のラベルは所定の色であり、
前記処理回路は、
外部端末から送信され前記記憶装置に記録される、所定の形状を含むカウント対象物の画像データを、前記インタフェース装置を介して取得し、
前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得し、
前記出力画像データにて、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調し、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去し、
前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物の数を計数し、
前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信し、
前記外部端末から送信され前記記憶装置に記録される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、前記インタフェース装置を介して取得する
ものである、計数システムにおいて、
前記所定の形状が円形または四角形であり、
更に、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する際には、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする、計数システム。
【請求項6】
処理回路を含み、
所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルが構築されており、
前記所定のラベルは所定の色である、
計数システムにおいて、
前記処理回路に、
外部端末から送信される、所定の形状を含むカウント対象物の画像データを取得する処理と、
前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得する処理と、
前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調する処理と、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する処理と、
前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物を、計数する処理と、
前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信する処理と、
前記外部端末から送信される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得する処理と
を、実行させる計数のためのコンピュータプログラムであって、
前記所定の形状が円形または四角形であり、
更に、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する処理においては、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする、コンピュータプログラム。
所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルが構築されており、
前記所定のラベルは所定の色である、
計数システムにおいて、
前記処理回路に、
外部端末から送信される、所定の形状を含むカウント対象物の画像データを取得する処理と、
前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得する処理と、
前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調する処理と、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する処理と、
前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物を、計数する処理と、
前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信する処理と、
前記外部端末から送信される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得する処理と
を、実行させる計数のためのコンピュータプログラムであって、
前記所定の形状が円形または四角形であり、
更に、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する処理においては、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、計数方法、計数システム、及び計数のためのコンピュータプログラムに関する。
【背景技術】
【0002】
鋼管業等では、製造された鋼管（パイプなど）の本数を計数することが行われる。例えば、パイプ製造メーカは運搬や貯蔵に際して、同一のサイズのものを所定の本数分だけ束ねるのが一般的である。しかし、一束中の鋼管本数が多い場合、鋼管本数を予定通りの本数にすることは容易でなく、多少の増減が生じることも少なくない。また、そもそも予定本数を定めずに鋼管を束ねる場合、一束中の鋼管の本数を明確にするには相応の手間と時間が掛かってしまう。
【0003】
生産や出荷の工程管理という観点から、一束中の鋼管の、若しくは一塊中の鋼管の、本数を正確に計数することが要求されている。
【0004】
特許文献１では、画像解析で正常な鋼材断面像と確実に判断された部分のみを計数するとともにその部分の画像を消去し、未消去部分に残存する鋼材数を目視で計数する方法が、開示されている。また、特許文献２では、ユーザが、（計数）対象物が存在する評点が低い箇所を重点的に調べることで、ユーザの負荷を軽減した上で対象物を計数し得る計数装置及び計数方法が、開示されている。
【0005】
また、特許文献３では、計数対象物の集合体を撮影した撮影画像から計数対象物の数を計数する計数方法であって、ユーザ操作によりサイズを変更できる撮影ガイドＧを撮影画像に重ねて入出力部に表示させ、撮影ガイドＧのサイズおよび位置に基づいて撮影画像から形状モデルを生成し、その形状モデルを用いて撮影画像に対してマッチング処理を行う、計数方法が、開示されている。更に、特許文献４では、カメラで撮像された元画像の夫々に対して画像処理を行って、鋼管の夫々に対応する領域が相互に分離されて表現された２値化画像である補正後領域分離２値化画像を作成し、補正後領域分離２値化画像のうち、相互に隣接する領域分離２値化画像から、相互に対応するブロブ（閉領域）群を導出し、当該ブロブ群同士が合うように、領域分離２値化画像を合成して合成画像を作成し、合成画像に基づいて鋼管の本数を決定する、長尺物本数測定装置が、開示されている。特許文献１～４のいずれも機械学習を用いるものでは無い。
【0006】
なお、特許文献５は、学習済みモデルによるセマンティックセグメンテーションの妥当性がないことを報せる情報処理装置を開示する。特許文献６は、画像中の特定物体の個数の推定精度を向上させる画像処理装置を開示する。特許文献７は、薬袋内に封入された錠剤の個数を自動的に検出し得る画像認識処理方法を開示する。特許文献８は、学習検査を行うに当たりどのような判定軸でもって画像識別を行うのかを使用者が把握し得る画像検査装置を開示する。特許文献９は、道路の渋滞状態に応じて、各道路の渋滞レベル、各道路の重み、及び交差点を通過する車両の数に基づいて交通信号を制御することで、応答が迅速であり、且つ推定が正確であり、交通信号を迅速、且つ効果的に制御でき、交通渋滞の問題を緩和、解決できる、交差点の交通信号の制御装置を開示する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１２－１７３９０１号公報
【特許文献2】特開２０２０－２０１９４６号公報
【特許文献3】特開２０１８－２２３９５号公報
【特許文献4】特開２０１４－２１９８４２号公報
【特許文献5】国際公開第２０２１／０５９５７２号
【特許文献6】特開２０２１－４７７１０号公報
【特許文献7】特開平７－２００８２０号公報
【特許文献8】特開２０２０－１８７６６１号公報
【特許文献9】特開２０１７－３３５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示は、所定の形状を含むカウント対象物の画像データ、例えば、断面が円形や四角形である鋼管の画像データを利用して、カウント対象物、例えば、鋼管を効率よく且つ正確に計数する計数方法、計数システム、及び係数のためのコンピュータプログラムを提示する。
【課題を解決するための手段】
【0009】
本開示の計数方法は、
処理回路により、外部端末から送信される、所定の形状を含むカウント対象物の画像データを取得するステップと、
前記処理回路により、所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、前記所定のラベルは所定の色である、用意するステップと、
前記処理回路により、前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得するステップと、
前記処理回路により、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調するステップと、
前記処理回路により、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップと、
前記処理回路により、前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物を、計数するステップと、
前記処理回路により、前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信するステップと、
前記処理回路により、前記外部端末から送信される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップと
を含む。
前記計数方法において、前記所定の形状が円形または四角形であり、
更に、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップにおいては、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
処理回路により、外部端末から送信される、所定の形状を含むカウント対象物の画像データを取得するステップと、
前記処理回路により、所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、前記所定のラベルは所定の色である、用意するステップと、
前記処理回路により、前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得するステップと、
前記処理回路により、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調するステップと、
前記処理回路により、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップと、
前記処理回路により、前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物を、計数するステップと、
前記処理回路により、前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信するステップと、
前記処理回路により、前記外部端末から送信される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップと
を含む。
前記計数方法において、前記所定の形状が円形または四角形であり、
更に、
前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去するステップにおいては、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
【0010】
本開示の計数システムは、インタフェース装置と、記憶装置と、処理回路とを含む。
前記計数システムには、
所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルが構築されており、
前記所定のラベルは所定の色であり、
前記処理回路は、
外部端末から送信され前記記憶装置に記録される、所定の形状を含むカウント対象物の画像データを、前記インタフェース装置を介して取得し、
前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得し、
前記出力画像データにて、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調し、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去し、
前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物の数を計数し、
前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信し、
前記外部端末から送信され前記記憶装置に記録される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、前記インタフェース装置を介して取得する。
前記計数システムにおいて、前記所定の形状が円形または四角形であり、
更に、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する際には、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
前記計数システムには、
所定の形状を含むカウント対象物の画像データと、前記カウント対象物に含まれる前記所定の形状に所定のラベルが付された前記カウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルが構築されており、
前記所定のラベルは所定の色であり、
前記処理回路は、
外部端末から送信され前記記憶装置に記録される、所定の形状を含むカウント対象物の画像データを、前記インタフェース装置を介して取得し、
前記カウント対象物の画像データを学習済み機械学習モデルに入力し、前記学習済み機械学習モデルから出力される出力画像データを取得し、
前記出力画像データにて、前記所定のラベルである前記所定の色が付された前記所定の形状の、前記所定の色のコントラストを強調し、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去し、
前記出力画像データにおける、前記所定のラベルが付された前記所定の形状を含む前記カウント対象物の数を計数し、
前記出力画像データに、計数された前記カウント対象物の数を添付した計数済み出力画像データを作成して、前記外部端末に送信し、
前記外部端末から送信され前記記憶装置に記録される訂正後の計数済み出力画像データであって、前記計数済み出力画像データにて前記所定のラベルが付されていない前記カウント対象物の前記所定の形状に対して追加的に前記所定のラベルが付された、若しくは、前記計数済み出力画像データにて付されている前記所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、前記インタフェース装置を介して取得する。
前記計数システムにおいて、前記所定の形状が円形または四角形であり、
更に、
前記出力画像データにて、前記所定のラベルである前記所定の色の付された前記所定の形状ではない領域を消去する際には、
個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とし、
個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
【発明の効果】
【0011】
本開示の計数方法及び計数システムは、所定の形状を含むカウント対象物の画像データを利用して、カウント対象物を効率よく且つ正確に計数することができる。
【図面の簡単な説明】
【0012】
【図2B】図２Ｂは、図２Ａに示すフローチャートにおける、ステップＳ０８の後、且つ、次のステップＳ１０の前にて、実行され得る、［コントラスト強調（ステップＳ０８－（１））］と［ノイズの消去（ステップＳ０８－（２））］との処理フローを示す図である。
【発明を実施するための形態】
【0013】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0014】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0015】
１．［本開示に至る経緯］
鋼管業、例えば、パイプ製造業のメーカは、様々なサイズのパイプについて各サイズ別に貯蔵し運搬するのが一般的である。パイプの貯蔵の際、特に、棚卸等の際には、一塊や一束のパイプの本数を、正確に且つ迅速に計数することが求められる。しかしながら、現状では、多数のパイプの端面方向から多数のパイプ全体の静止画を撮り、その静止画に基づいて最終的には手作業で計数することが多い。
鋼管業、例えば、パイプ製造業のメーカは、様々なサイズのパイプについて各サイズ別に貯蔵し運搬するのが一般的である。パイプの貯蔵の際、特に、棚卸等の際には、一塊や一束のパイプの本数を、正確に且つ迅速に計数することが求められる。しかしながら、現状では、多数のパイプの端面方向から多数のパイプ全体の静止画を撮り、その静止画に基づいて最終的には手作業で計数することが多い。
【0016】
多数のパイプの端面方向からの多数のパイプ全体の静止画では、各パイプの画像は、筒形の内部に円形や四角形の影部分を有する。そこで、本発明者は、所定の形状（例えば、円形や四角形）を含むカウント対象物（例えば、円筒や角筒のパイプ）の数を、カウント対象物の画像をコンピュータシステムに入力することにより、自動的に計数することに、想到した。
【0017】
なお、以下では、主として、端部から見て内部に円形の影部分を有する、円筒形のパイプの本数を計数する本発明の計数システム及び計数方法について説明するが、本発明は、内部に円形の影部分を有する円筒形のパイプの本数を計数する計数システム及び計数方法に限定されない。四角形や三角形やその他の多角形などの、所定の形状を含むカウント対象物の画像データから、カウント対象物の数を計数する計数システム及び計数方法において、本発明は適用され得る。なお図９は、内部に四角形の影部分を含む多数の角筒形のパイプの画像データの例を示す図である。
【0018】
２．［実施の形態］
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。
【0019】
２．１．［システム構成］
実施の形態に係る計数システム及び計数方法は、所定の形状を含むカウント対象物の画像データから、カウント対象物の数を自動的に計数するための、システム及び方法である。図１は、本実施の形態に係る計数システム２のシステム構成図である。所定の形状を含むカウント対象物の画像データとは、例えばカウント対象物に含まれる所定の形状を認識できる状態の画像データを意味する。
実施の形態に係る計数システム及び計数方法は、所定の形状を含むカウント対象物の画像データから、カウント対象物の数を自動的に計数するための、システム及び方法である。図１は、本実施の形態に係る計数システム２のシステム構成図である。所定の形状を含むカウント対象物の画像データとは、例えばカウント対象物に含まれる所定の形状を認識できる状態の画像データを意味する。
【0020】
計数システム２は、コンピュータ装置４及び記憶装置１２を有する。コンピュータ装置４及び記憶装置１２は有線または無線の通信回線で接続されており、互いにデータを送受信可能である。計数システム２はさらに外部ネットワーク１８に接続されており、外部ネットワーク１８に接続された他のコンピュータシステムとの間でデータを授受する。計数システム２は、特に、外部端末１６と接続する。更に、計数システム２は、学習サーバ１４と接続するのが望ましい。
【0021】
コンピュータ装置４は、一つ以上のプロセッサを搭載するサーバ機、若しくはワークステーションコンピュータ等である。
【0022】
記憶装置１２は、ディスクドライブやフラッシュメモリ等の、コンピュータ装置４の外部に設けられる記憶装置であり、コンピュータ装置４で用いられる各種データベース、各種データセット、及び、各種コンピュータプログラムを記憶する。記憶装置１２には、例えば、後で説明する、外部端末１６から送信される画像データが記録される。
【0023】
外部端末１６は、スマートホンやタブレット端末であり、撮像機能（カメラ機能）を備える。外部端末１６は、画像データ及び計数データを計数システム２と送受信する。
【0024】
学習サーバ１４は、記憶装置１２に記録される画像データ等を用いて、後で説明する機械学習モデルの学習を行う。
【0025】
外部ネットワーク１８は、例えば、インターネットであり、ネットワーク端子等のインタフェース装置６を介して、コンピュータ装置４と接続する。
【0026】
更にコンピュータ装置４は、インタフェース装置６、処理回路８、及びメモリ１０を含む。
【0027】
インタフェース装置６は、ネットワーク端子、映像入力端子、ＵＳＢ端子、キーボード、マウス等を含む、外部からデータを取得可能なインタフェースユニットである。外部から、インタフェース装置６を介して、種々のデータが取得される。データは、例えば、後で説明する、所定の形状を含むカウント対象物の画像データ、及び、訂正後の計数済み出力画像データである。取得後、これらのデータは、記憶装置１２に記録され得る。記憶装置１２に記録されるデータは適宜、インタフェース装置６を介して、コンピュータ装置４内に取得され得る。
【0028】
更に、計数システム２により生成される各種データは、記憶装置１２に適宜記録される。各種データは、例えば、後で説明する、学習済み機械学習モデルから出力される出力画像データ、及び、計数済み出力画像データである。このような計数システム２により生成され記憶装置１２に適宜記録される各種データは、インタフェース装置６を介して、コンピュータ装置４内に再び取得され得る。
【0029】
処理回路８は、プロセッサにより構成される。ここでのプロセッサは、ＣＰＵ(Central Processing Unit;中央処理ユニット)やＧＰＵ(Graphics Processing Unit；画像処理ユニット)を包括するものである。本実施の形態に係る計数システム２の各種処理は、各種プログラムを処理回路８が実行することによって実現される。なお、当該各種処理は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
【0030】
本開示における処理回路８は、複数台の信号処理回路から構成されてもよい。各信号処理回路は、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）であり、「プロセッサ」と呼ばれ得る。本実施の形態に係る計数システム２における様々な処理の一部をあるプロセッサ（例えば、或るＧＰＵ）が実行し、他の一部の処理を他のプロセッサ（例えば、或るＣＰＵ）が実行してもよい。
【0031】
メモリ１０は、コンピュータ装置４内部のデータ書き換えが可能な記憶部であり、例えば、多数の半導体記憶素子を含むＲＡＭ（Random Access Memory）により構成される。メモリ１０は、処理回路８が様々な処理を実行する際の、具体的なコンピュータプログラムや、変数値や、パラメータ値等を一時的に格納する。なおメモリ１０は、いわゆるＲＯＭ（Read Only Memory）を含んでもよい。ＲＯＭには、以下で説明する計数システム２の処理を実現するコンピュータプログラムが予め格納されている。処理回路８がＲＯＭからコンピュータプログラムを読み出し、ＲＡＭに展開することにより、処理回路８が当該コンピュータプログラムを実行可能になる。
【0032】
本実施の形態に係る計数システム２は、Ｐｙｔｈｏｎ等のコンピュータ言語を用いて構築されている。本開示に係る計数システム２の構築のために用いられ得るコンピュータ言語はこれらに限定されるものでは無く、勿論、他のコンピュータ言語が用いられてもよい。
【0033】
更に、本実施の形態に係る計数システム２においては、学習済みの機械学習モデルが構築されている。本実施の形態に係る機械学習モデルは、後でも説明するように、例えば、Ｕ－Ｎｅｔ（図１０参照）などのネットワーク構造を用いて構築される。
【0034】
２．１．１．［機械学習モデルの構成］
本実施の形態に係る機械学習モデルは、計数システム２に接続する学習サーバ１４にて学習が行われる。図８は、機械学習モデルに対する教師データの例を示す図である。本実施の形態に係る機械学習モデルは、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データ（正解データ）とを教師データとして学習が行われる。
本実施の形態に係る機械学習モデルは、計数システム２に接続する学習サーバ１４にて学習が行われる。図８は、機械学習モデルに対する教師データの例を示す図である。本実施の形態に係る機械学習モデルは、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データ（正解データ）とを教師データとして学習が行われる。
【0035】
図８（１）は、外部端末１６により、若しくは他の撮像装置（カメラ）により撮像される、所定の形状を含むカウント対象物の画像の例である。図８（１）は、パイプの束の端面からの撮像画像であり、カウント対象物である、パイプの中に円形の影部分が含まれている。
【0036】
一方、正解データである図８（２）は、図８（１）の画像において、パイプの中の円形の影部分に、ラベルであるグレーの円形が、付されているものである。つまり、カウント対象物であるパイプに含まれる、所定の形状である円形の影部分に、グレーの円形が隈なく付されたものが、正解データとされている。
【0037】
図８（１）に示すような画像データに対して、適宜のペインティングツールを用いて、図８（２）に示すような正解データが作成されてよい。但し、このような作成（ラベル付け）は、略手作業で行われるものであり、膨大な手間と時間が掛かるのが一般的である。そこで、データ拡張（Data Augmentation）の手法を用いて、教師データのデータセットを大量に作成するのが望ましい。
【0038】
本実施の形態に係る機械学習モデルは、画像データを入出力するものであり、様々な手法を用いて構築され得る。一般的なＣＮＮ（畳み込みニューラルネットワーク）を用いることができる。更に、オートエンコーダを用いてもよい。
【0039】
更に具体的には、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、Ｕ－ｎｅｔ（図１０参照）、ＳｅｇＮｅｔ等の手法が用いられ得る。図１０は、Ｕ―ｎｅｔのネットワーク構造の例を示す図である。図１０に示すネットワーク構造では入力画像と特徴マップのサイズが記載されているが、入力画像サイズは固定されない。また、出力は２チャンネルである。
【0040】
これらの手法が用いられるモデルにおいて、ｒｅｓ－ｎｅｔのようにニューラルネットワークにＳｋｉｐ Ｃｏｎｎｅｃｔｉｏｎの構造が設けられてもよい。また、それらのモデルにおいてニューラルネットワークにＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの構造が設けられてもよい。更に、それらのモデルにおいてニューラルネットワークにＤｒｏｐｏｕｔの構造が設けられてもよい。
【0041】
２．２．［システムの動作］
図２Ａは、本実施の形態に係る計数システム２の計数処理の動作を示すフローチャートである。
図２Ａは、本実施の形態に係る計数システム２の計数処理の動作を示すフローチャートである。
【0042】
処理回路８は、外部端末１６から送信される、所定の形状を含むカウント対象物、即ち、例えば、円形や四角形の影部分を含むパイプの画像データを、インタフェース装置６を介して取得する（ステップＳ０４）。図９は、内部に四角形の影部分を含む多数の角筒形のパイプの画像データの例を示す図である。
【0043】
一方、図３Ａは、外部端末１６の表示画面における、円形の影部分を含むパイプの画像データの例を示す図である。所定の形状を含むカウント対象物の画像は、外部端末１６の撮像機能（カメラ機能）により撮像される。外部端末１６は、別体のカメラが撮像した画像を吸い上げて利用してもよい。なお、外部端末１６には、画像の一部領域を除去する機能が備わるのが好ましい。つまり、外部端末１６は、例えば、図３Ａに示す画像において、点線を引くことにより当該点線で囲む、パイプを含む画像領域と、パイプを全く含まない画像領域とを区別した上で、当該パイプを全く含まない画像領域を除去する機能を備えるのが好ましい。図３Ｂは、パイプを全く含まない画像領域が除去されてパイプを含む画像領域のみが残された画像データを示す図である。外部端末１６は、パイプを含む画像領域のみから成る画像データを、計数システム２へ送信することになる。このようにすることで、学習済み機械学習モデルにより所定のラベルが誤って付与されることの可能性を低くすることができる。なお上記例において、パイプを含む画像領域と、パイプを全く含まない画像領域とを区別することなく計数システム２へ画像データを送信してもよく、また当該送信された画像データについて計数システム２でパイプを含む画像領域と、パイプを全く含まない画像領域とを区別する処理を行ってもよい。
【0044】
外部端末１６が送信する画像データは、処理回路８により取得されると共に、記憶装置１２に記録される。
【0045】
続いて、本実施の形態に係る計数システム２のコンピュータ装置４の処理回路８は、学習済みの機械学習モデルを用意する（ステップＳ０６）。前に説明したように、本実施の形態に係る計数システム２においては、学習済みの機械学習モデルが構築されている。当該学習済みの機械学習モデルは、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データ（正解データ）とを教師データとして学習が行われたものである。
【0046】
ここで、ステップＳ０４にて取得される画像データにおける所定の形状が、例えば、円形であるか若しくは四角形であるか、手動によりインタフェース装置６を介して設定され得るように、計数システム２が構成されていてもよい。このことを受けて、手動により設定される所定の形状が円形である場合には、所定の形状である円形を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状である円形に所定のラベルが付されたカウント対象物の画像データ（正解データ）とを教師データとして学習が行われた、円形のための学習済みの機械学習モデルが用意されるのが望ましい。また、手動により設定される所定の形状が四角形である場合には、所定の形状である四角形を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状である四角形に所定のラベルが付されたカウント対象物の画像データ（正解データ）とを教師データとして学習が行われた、四角形のための学習済みの機械学習モデルが用意されるのが望ましい。
【0047】
また、ステップＳ０４にて取得される画像データにおける所定の形状が、例えば、円形であるか若しくは四角形であるか、については、処理回路８が、外部端末１６から送信される、所定の形状を含むカウント対象物の画像データにおける、一つ若しくは複数のカウント対象物に含まれる形状に基づいて自動的に認識するように、計数システム２が構成されていてもよい。このことを受けて、自動的に認識される所定の形状が円形である場合には、上述のような、円形のための学習済みの機械学習モデルが用意されるのが望ましい。また、自動的に認識される所定の形状が四角形である場合には、上述のような、四角形のための学習済みの機械学習モデルが用意されるのが望ましい。
【0048】
また、ステップＳ０４にて取得される画像データにおける所定の形状が、例えば、円形であるか若しくは四角形であるか、について、手動により何ら設定されず、且つ、自動的にも認識されない、というように、計数システム２が構成されてもよい。このような場合には、円形も四角形も含まれ得る所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる、円形でも四角形でもある所定の形状に所定のラベルが付されたカウント対象物の画像データ（正解データ）とを教師データとして学習が行われた、円形のためでも四角形のためでもある学習済みの機械学習モデルが用意されるのが望ましい。
【0049】
続いて、計数システム２のコンピュータ装置４の処理回路８は、カウント対象物の画像データ、即ち、パイプの画像データを、学習済み機械学習モデルに入力して、当該学習済み機械学習モデルから出力される出力画像データを取得する（ステップＳ０８）。
【0050】
図４は、学習済み機械学習モデルにおける、（ａ）インプット画像、（ｂ）アウトプット画像、及び、（ｔ）教師画像（正解データ）の、夫々の例を示す図である。学習済み機械学習モデルは、（ａ）インプット画像における、パイプに含まれる円形の影部分の領域を探し、検出した円形の影部分にラベルを付して（ｂ）アウトプット画像を出力する。なお、図４（ｔ）は、想定される正解データの画像を示している。
【0051】
ステップＳ０８の後、且つ、次のステップＳ１０の前にて、以下の「ステップＳ０８－（１）」及び「ステップＳ０８－（２）」が行われてもよい。図２Ｂは、ステップＳ０８の後、且つ、次のステップＳ１０の前にて、実行され得る、［コントラスト強調（ステップＳ０８－（１））］と［ノイズの消去（ステップＳ０８－（２））］との処理フローを示す図である。
【0052】
２．２．１．［コントラスト強調（ステップＳ０８－（１））］
学習済み機械学習モデルの出力画像にて、予測結果における確信度が低い領域は、例えば、ラベルが緑色であるとするならば、低い色相の緑、即ち、薄い緑で表示される。つまり、確信度に対応する（緑の）色相の画素値が低くなっている。図５（ａ）は、薄い緑（図では、グレー）の領域を含む出力画像の例である。これらの領域について、コントラストを強調する。ここでのコントラストの強調は、後の、ステップＳ０８－（２）におけるノイズ消去処理や、ステップＳ１０における計数（カウント）処理を行いやすくするために行われる。図５（ｂ）は、図５（ａ）に示す出力画像に基づいて、薄い緑（図では、グレー）領域のコントラストを強調した、出力画像の例である。
学習済み機械学習モデルの出力画像にて、予測結果における確信度が低い領域は、例えば、ラベルが緑色であるとするならば、低い色相の緑、即ち、薄い緑で表示される。つまり、確信度に対応する（緑の）色相の画素値が低くなっている。図５（ａ）は、薄い緑（図では、グレー）の領域を含む出力画像の例である。これらの領域について、コントラストを強調する。ここでのコントラストの強調は、後の、ステップＳ０８－（２）におけるノイズ消去処理や、ステップＳ１０における計数（カウント）処理を行いやすくするために行われる。図５（ｂ）は、図５（ａ）に示す出力画像に基づいて、薄い緑（図では、グレー）領域のコントラストを強調した、出力画像の例である。
【0053】
２．２．２．［ノイズの消去（ステップＳ０８－（２））］
コントラスト強調された出力画像にて微小領域や線状になっている領域などのノイズを消去する。図６（ａ）は、図５（ｂ）と同じ出力画像であり、ノイズである微小領域の消去前の画像の例である。図６（ａ）の画像に対して、微小領域がノイズとして消去され、図６（ｂ）の微小領域の消去後の画像となる。
コントラスト強調された出力画像にて微小領域や線状になっている領域などのノイズを消去する。図６（ａ）は、図５（ｂ）と同じ出力画像であり、ノイズである微小領域の消去前の画像の例である。図６（ａ）の画像に対して、微小領域がノイズとして消去され、図６（ｂ）の微小領域の消去後の画像となる。
【0054】
消去すべき、微小領域などのノイズを決定する方法は様々有り、特に限定されない。例えば、以下のようにして、ノイズの領域が決定されてもよい。
【0055】
[ノイズ領域の決定の方法の例]
本実施の形態の例では、所定の形状は、例えば、円形や四角形と想定されている。そこで、所定の形状が円形であるような場合には、次のようにしてノイズの領域が決定され得る。つまり、図６（ａ）等に示される、個々の領域について中心点を先ず求め、中心点に基づいて個々の領域の半径「ｒ」及び直径「２ｒ」の理論値を仮定し、個々の領域の面積「πｒ２」及び個々の領域の外周「２πｒ」を求める。領域の面積「πｒ２」及び領域の外周「２πｒ」について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する領域についてノイズとする。この方法を採用する場合、過大領域もノイズと決定される。
本実施の形態の例では、所定の形状は、例えば、円形や四角形と想定されている。そこで、所定の形状が円形であるような場合には、次のようにしてノイズの領域が決定され得る。つまり、図６（ａ）等に示される、個々の領域について中心点を先ず求め、中心点に基づいて個々の領域の半径「ｒ」及び直径「２ｒ」の理論値を仮定し、個々の領域の面積「πｒ２」及び個々の領域の外周「２πｒ」を求める。領域の面積「πｒ２」及び領域の外周「２πｒ」について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する領域についてノイズとする。この方法を採用する場合、過大領域もノイズと決定される。
【0056】
ここでの「所定の閾値」は、例えば、全部の領域の面積若しくは外周についての、標準偏差であってもよいし、標準偏差の係数倍（例えば、０．８倍）の値などであってもよい。また「所定の閾値」は、例えば、特定の数値であってもよい。以下も同様である。
【0057】
また、例えば、所定の形状が四角形であるような場合には、次のようにしてノイズの領域が決定され得る。つまり、個々の領域の短辺「ａ」及び長辺「ｂ」の理論値を仮定し、個々の領域の面積「ａｂ」及び個々の領域の外周「２ａ＋２ｂ」を求める。領域の面積「ａｂ」及び領域の外周「２ａ＋２ｂ」について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域についてノイズとする。
【0058】
更に、例えば、所定の形状が正三角形であるような場合にも、個々の領域について中心点を先ず求め、中心点に基づいて個々の三角形領域の１辺「ｌ」の理論値を仮定し、個々の領域の面積
及び個々の領域の外周「３ｌ」を求め、領域の面積及び領域の外周について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する領域について、ノイズと決定することができる。
【数1】
【0059】
より一般的には、次のようにノイズの領域が決定され得る。図６（ａ）に示されるような画像において、個々の領域について、個々の領域の周囲を仮定し、個々の領域の面積及び個々の領域の外周を求める。領域の面積及び領域の外周について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域についてノイズとする。この方法を採用する場合も、過大領域もノイズと決定される。
【0060】
また、特に、個々の領域を構成する画素及び画素数に基づいて、ノイズの領域を決定することもできる。ここでの「個々の領域を構成する画素」は、上述の［コントラスト強調（ステップＳ０８－（１））］のステップにて、コントラストが強調された画素である。つまり、図６（ａ）に示されるような画像において、個々の領域について、個々の領域の外郭に存在する複数の画素を領域の周囲と仮定し、個々の領域の周囲の画素数により個々の領域の外周を求め、個々の領域の周囲の、及び周囲の内側の画素数により個々の領域の面積を求める。領域の面積及び領域の外周について、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域についてノイズとする。
[ノイズ領域の決定の方法の例、以上]
[ノイズ領域の決定の方法の例、以上]
【0061】
ステップＳ０８に続いて、処理回路８は、出力画像データにおける、所定のラベルが付された所定の形状を含むカウント対象物の数を計数する（ステップＳ１０）。
【0062】
続いて、処理回路８は、出力画像データに、計数されたカウント対象物の数を添付した、計数済み出力画像データを作成して、外部端末１６に送信（返信）する（ステップＳ１２）。
【0063】
ここで、外部端末１６の操作者は、送信（返信）されてきた計数済み出力画像データに対して、必要に応じて訂正を行う。図７は、外部端末１６の表示画面における、計数済み出力画像データの訂正のためのアプリケーション画面の例を示す。図７に示す訂正のためのアプリケーション画面では、まず左上部にカウント対象物のカウント数が表示されている。
【0064】
更に、図７に示す訂正のためのアプリケーション画面では、ラベル追加ボタン３０と、ラベル消去ボタン３２が設けられている。計数済み出力画像データにて、ラベルが付されるべき所定の形状の部分にラベルが付されておらず、操作者がその部分にラベルを付そうとするような場合、例えば、その部分を或る指でタッチしつつ別の指でラベル追加ボタン３０をタッチすることにより、その部分にラベルを追加することができるように、本アプリケーションは構築されている。画面の左端のバー３４は、追加するラベルの大きさを調整するためのバーである。
【0065】
一方、計数済み出力画像データにて、ラベルが付されるべきでない部分にラベルが付されており、操作者がその部分のラベルを消去しようとするような場合、例えば、その部分を或る指でタッチしつつ別の指でラベル消去ボタン３２をタッチすることにより、その部分のラベルを消去することができるように、本アプリケーションは構築されている。ラベル追加ボタン３０、及び、ラベル消去ボタン３２の操作により、画面の左上部におけるカウント対象物のカウント数が変動する。
【0066】
訂正完了後、操作者は、外部端末１６から、計数済み出力画像データにて所定のラベルが付されていないカウント対象物の所定の形状に対して追加的に所定のラベルが付された、若しくは、計数済み出力画像データにて付されている所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、計数システム２のコンピュータ装置４に送信する。よって、本実施の形態の計数システム２の処理回路８は、外部端末１６から送信される、計数済み出力画像データにて所定のラベルが付されていないカウント対象物の所定の形状に対して追加的に所定のラベルが付された、若しくは、計数済み出力画像データにて付されている所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、前記インタフェース装置を介して取得する（ステップＳ１４）。
【0067】
外部端末１６が送信する訂正後の計数済み画像データは、処理回路８により取得されて、記憶装置１２に記録される。
【0068】
以上、ステップＳ０４～ステップＳ１４が、本実施の形態に係る計数システム２の計数処理の動作である。
【0069】
２．２．３．［学習済み機械学習モデルの追加学習］
本実施の形態に係る計数システム２にて構築されている学習済み機械学習モデルは、計数システム２に接続する学習サーバ１４を用いて追加学習を行うように構成されている。この際の教師データは、記憶装置１２に記録されている所定の形状を含むカウント対象物の画像データと、それに対応する、訂正後の計数済み出力画像データとである。前述のように、訂正後の計数済み出力画像データも記憶装置１２に記録されている。
本実施の形態に係る計数システム２にて構築されている学習済み機械学習モデルは、計数システム２に接続する学習サーバ１４を用いて追加学習を行うように構成されている。この際の教師データは、記憶装置１２に記録されている所定の形状を含むカウント対象物の画像データと、それに対応する、訂正後の計数済み出力画像データとである。前述のように、訂正後の計数済み出力画像データも記憶装置１２に記録されている。
【0070】
この追加学習は、外部端末１６の操作者が、計数済み出力画像データを確認しつつ作成する、訂正後の計数済み出力画像データを正解データとすることで、実施されるものである。
【0071】
本実施の形態に係る計数システム２は、追加学習に基づいて、学習済みの機械学習モデルを再構築する。
【0072】
２．３．［実施の形態のまとめ］
本実施の形態に係る計数方法は、処理回路８により、外部端末１６から送信される、所定の形状を含むカウント対象物の画像データを取得するステップと、処理回路８により、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、所定のラベルは所定の色である、用意するステップと、処理回路８により、カウント対象物の画像データを学習済み機械学習モデルに入力し、学習済み機械学習モデルから出力される出力画像データを取得するステップと、処理回路８により、所定のラベルである所定の色が付された所定の形状の、所定の色のコントラストを強調するステップと、処理回路８により、所定のラベルである所定の色の付された所定の形状ではない領域を消去するステップと、処理回路８により、出力画像データにおける、所定のラベルが付された所定の形状を含むカウント対象物を、計数するステップと、処理回路８により、出力画像データに、計数されたカウント対象物の数を添付した計数済み出力画像データを作成して、外部端末１６に送信するステップと、処理回路８により、外部端末１６から送信される訂正後の計数済み出力画像データであって、計数済み出力画像データにて所定のラベルが付されていないカウント対象物の所定の形状に対して追加的に所定のラベルが付された、若しくは、計数済み出力画像データにて付されている所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップとを含む。更に、所定の形状が円形または四角形である。更に、上述の、所定のラベルである所定の色の付された所定の形状ではない領域を消去するステップにおいては、個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
本実施の形態に係る計数方法は、処理回路８により、外部端末１６から送信される、所定の形状を含むカウント対象物の画像データを取得するステップと、処理回路８により、所定の形状を含むカウント対象物の画像データと、カウント対象物に含まれる所定の形状に所定のラベルが付されたカウント対象物の画像データとを教師データとして学習が行われた学習済みの機械学習モデルを用意するステップであって、所定のラベルは所定の色である、用意するステップと、処理回路８により、カウント対象物の画像データを学習済み機械学習モデルに入力し、学習済み機械学習モデルから出力される出力画像データを取得するステップと、処理回路８により、所定のラベルである所定の色が付された所定の形状の、所定の色のコントラストを強調するステップと、処理回路８により、所定のラベルである所定の色の付された所定の形状ではない領域を消去するステップと、処理回路８により、出力画像データにおける、所定のラベルが付された所定の形状を含むカウント対象物を、計数するステップと、処理回路８により、出力画像データに、計数されたカウント対象物の数を添付した計数済み出力画像データを作成して、外部端末１６に送信するステップと、処理回路８により、外部端末１６から送信される訂正後の計数済み出力画像データであって、計数済み出力画像データにて所定のラベルが付されていないカウント対象物の所定の形状に対して追加的に所定のラベルが付された、若しくは、計数済み出力画像データにて付されている所定のラベルを追加的に消去した、訂正後の計数済み出力画像データを、取得するステップとを含む。更に、所定の形状が円形または四角形である。更に、上述の、所定のラベルである所定の色の付された所定の形状ではない領域を消去するステップにおいては、個々の領域について円形の場合は、中心点を先ず求め、中心点に基づいて個々の領域の半径ｒ及び直径２ｒの理論値を仮定し、個々の領域の面積πｒ２及び個々の領域の外周２πｒを求め、その上で、領域の面積πｒ２及び領域の外周２πｒについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。個々の領域について四角形の場合は、個々の領域の短辺ａ及び長辺ｂの理論値を仮定し、個々の領域の面積ａｂ及び個々の領域の外周２ａ＋２ｂを求め、その上で、領域の面積ａｂ及び領域の外周２ａ＋２ｂについて、全部の領域に関して平均値を求め、面積の平均値若しくは外周の平均値から、所定の閾値以上乖離する実測値の領域については、ノイズとして消去すべき領域とする。
【0073】
以上の計数方法では、所定の形状を含むカウント対象物の画像データを利用して、カウント対象物を効率よく且つ正確に計数することができる。
【0074】
３．［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【0075】
上述の実施の形態では、端部から見て内部に円形や四角形の影部分を有する円筒形のパイプの本数を計数する計数システム及び計数方法について説明したが、本開示における技術は、内部に円形や四角形の影部分を有するパイプの本数を計数する計数システム及び計数方法に限定されるものではない。三角形やそれ以外の多角形などの所定の形状を含むカウント対象物の画像データに基づいて、カウント対象物の数を計数する計数システム及び計数方法において、本開示における技術は適用され得る。
【0076】
また、例えば、上述の実施の形態における訂正後の計数済み出力画像データを、商品であるカウント対象物（例えば、パイプ）の出荷時に発行される伝票データと結び付けることで、実施の形態に係る計数システム２とリンクする商品販売管理システムは、適正に且つ効率的に出荷指示データ及び出荷実績データを作成することができる。また、当該商品販売管理システムは、上述の実施の形態における訂正後の計数済み出力画像データを、商品販売先への請求データと結び付けることで、正確かつ迅速に請求データを発行することができる。例えば、伝票データなどに基づき、当該画像データに含まれるはずのカウント対象物の数に関するデータを処理回路８に提供できる場合、処理回路８は当該画像データに含まれるはずのカウント対象物の数とステップＳ１０とのカウント数との差を算出し、当該差がある場合に外部端末１６のアプリケーション画面に何らかの表示（警告表示や差分）を行うようにしてもよい。
【0077】
また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0078】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【符号の説明】
【0079】
２・・・計数システム、４・・・コンピュータ装置、６・・・インタフェース装置、８・・・処理回路、１０・・・メモリ、１２・・・記憶装置、１４・・・学習サーバ、１６・・・外部端末、１８・・・外部ネットワーク、３０・・・ラベル追加ボタン、３２・・・ラベル消去ボタン、３４・・・バー。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】