特許 7563811 積み上げた物体をカウントするための端末、システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】積み上げた物体をカウントするための端末、システム、方法およびプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

【ＦＩ】

G06T7/60 110

G06T7/00 350B

【請求項の数】 9

(21)【出願番号】P 2024032656

(22)【出願日】2024-03-05

【審査請求日】2024-06-03

【早期審査対象出願】

(73)【特許権者】

【識別番号】523442932

【氏名又は名称】あやたかシステム開発株式会社

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】金子 愼太郎

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１９－１８５４０７（ＪＰ，Ａ）

【文献】特開２０２２－１６７７５６（ＪＰ，Ａ）

【文献】特表２０１７－５２７０５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

積み上げた物体をカウントするための端末であって、
前記積み上げた物体の全体像を含む画像を取得する取得部と、
前記画像から、前記積み上げた物体の全体像の上縁部および下縁部を含む前記積み上げた物体の部分画像を抜き出し、当該部分画像の周囲に、前記積み上げた物体と異なる色の余白部を設けた認識用画像を作成する作成部と、
前記認識用画像において、前記積み上げた物体の全体像の前記上縁部および前記下縁部と、各物体の間の境目との画像を検知する検知部と、
検知した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントするカウント部と、
を備える端末。

【請求項2】

前記検知部は、前記認識用画像において、前記積み上げた物体の各物体の画像を検知し、
前記カウント部は、検知した前記各物体の画像に基づいて、前記積み上げた物体をカウントする請求項１に記載の端末。

【請求項3】

カウントした結果を出力する出力部をさらに備える請求項１に記載の端末。

【請求項4】

前記認識用画像と、前記上縁部、前記下縁部および前記境目の画像とを学習して、学習済みモデルを作成する学習部と、
前記学習済みモデルに基づいて、前記認識用画像において、前記積み上げた物体の前記上縁部および前記下縁部と、各物体の間の境目との画像を推測する推測部と、をさらに備え、
前記カウント部は、推測した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントする請求項１に記載の端末。

【請求項5】

前記学習部は、前記各物体の画像をさらに学習し、
前記推測部は、前記学習済みモデルに基づいて、前記認識用画像において、前記積み上げた物体の各物体の画像を推測し、
前記カウント部は、推測した前記各物体の画像に基づいて、前記積み上げた物体をカウントする請求項４に記載の端末。

【請求項6】

前記学習部は、前記余白部の一部を含めたバウンディングボックスアノテーションによって学習する請求項４に記載の端末。

【請求項7】

積み上げた物体をカウントするためのシステムであって、
前記積み上げた物体の全体像を含む画像を取得する取得部と、
前記画像から、前記積み上げた物体の全体像の上縁部および下縁部を含む前記積み上げた物体の部分画像を抜き出し、当該部分画像の周囲に、前記積み上げた物体と異なる色の余白部を設けた認識用画像を作成する作成部と、
前記認識用画像において、前記積み上げた物体の全体像の前記上縁部および前記下縁部と、各物体の間の境目との画像を検知する検知部と、
検知した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントするカウント部と、
を備えるシステム。

【請求項8】

積み上げた物体をカウントするためのコンピュータが実行する方法であって、
前記積み上げた物体の全体像を含む画像を取得するステップと、
前記画像から、前記積み上げた物体の全体像の上縁部および下縁部を含む前記積み上げた物体の部分画像を抜き出し、当該部分画像の周囲に、前記積み上げた物体と異なる色の余白部を設けた認識用画像を作成するステップと、
前記認識用画像において、前記積み上げた物体の全体像の前記上縁部および前記下縁部と、各物体の間の境目との画像を検知するステップと、
検知した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントするステップと、
を備える方法。

【請求項9】

コンピュータに、
積み上げた物体の全体像を含む画像を取得するステップ、
前記画像から、前記積み上げた物体の全体像の上縁部および下縁部を含む前記積み上げた物体の部分画像を抜き出し、当該部分画像の周囲に、前記積み上げた物体と異なる色の余白部を設けた認識用画像を作成するステップ、
前記認識用画像において、前記積み上げた物体の全体像の前記上縁部および前記下縁部と、各物体の間の境目との画像を検知するステップ、
検知した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントするステップ、
を実行させるコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、積み上げた物体をカウントするための端末、システム、方法およびプログラムに関する。

【背景技術】

【0002】

多種多様の業界および場面において、積み重ねた板、番重、シーツ等の物体の個数（枚数）を数える（カウントする）ことが多いが、人が目で見てカウントする場合は、数え間違いといったミスが発生する。特に、積み重ねた物体の形状は単純である場合が多く、カウントミスの頻度も高くなる。

【0003】

このため、そのような物体１個あたりの厚さと全体の高さに基づいて、個数（枚数）を計算して管理する場合があるが、シーツ等の柔らかい物体は、積み重ねられた際に、見た目の厚さが異なってしまう。

【0004】

このため、近年では、数える対象物を撮影した画像から、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｒｉｇｅｎｃｅ）による学習モデルを用いた画像認識によって、対象物をカウントすることがおこなわれている。例えば、積み重ねた対象物を撮影した画像において、画像内の対象物を個々に検知し、検知した個々の対象物をカウントしたり（非特許文献１）、容器に収容された対象物を撮影した画像において、容器の外枠と対象物全体の外縁、さらにはおしぼりの密度を検知し、内容物の個数を推計している（特許文献１）。

【0005】

ところで、ＡＩによる学習モデルを用いて画像内の物体をカウントするためには、画像認識により検知した物体の画像データをアノテーションし、アノテーションしたデータを教師データとして機械学習することが必要となる。アノテーションには、いくつかの手法があるが、なかでも、画像内のアノテーション対象となる物体を長方形で囲むバウンディングボックスアノテーションは、その他の手法にくらべて比較的単純であるため、多くの場面で利用されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第７００４３７５号明細書

【非特許文献】

【0007】

【文献】株式会社スカイロジック，“ＡＩカウントアプリ「ｃａｚｏｅＴｅｌｌ」”，［ｏｎｌｉｎｅ］，令和４年１１月２１日，角川アスキー総合研究所，［令和６年１月２１日検索］，インターネット ＜ＵＲＬ：ｈｔｔｐｓ：／／ａｓｃｉｉ．ｊｐ／ｅｌｅｍ／０００／００４／１１４／４１１４０２５／＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、非特許文献１および特許文献１の技術にバウンディングボックスアノテーションを適用し、見た目の厚さが異なる積み重ねた物体をカウントしようとした場合、形状が途中で上下してしまうことから、個々の物体の特徴点の抽出が難しく、物体の誤検知につながる。また、アノテーションの際に長方形で囲みにくくなることから、適切な教師データを作成することが難しい。

【0009】

そこで、本発明者は、積み上げた物体の全体像を撮影した画像の一部を抜き出し、抜き出した画像の周囲に積み上げた物体とは異なる色の余白を設けることによって、各物体の間の境目の特徴がより際立つことから、積み上げた物体をカウントする際に必要となる各物体の境目の特徴点が確実に抽出できるため、精度の高いバウンディングボックスアノテーションを用いることによって、積み上げた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体でも正確にカウントすることが可能となる点に着目した。

【0010】

本発明は、これらの課題に鑑み、画像認識による物体を検知することによって、積み重ねた物体の形状が上下したり、見た目の厚さが異なっていても、物体をカウントすることが可能な、積み上げた物体をカウントするための端末、システム、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明では、以下のような解決手段を提供する。

【0012】

本発明の第１の特徴は、積み上げた物体をカウントするための端末であって、
前記積み上げた物体の全体像を含む画像を取得する取得部と、
前記画像から、前記積み上げた物体の全体像の上縁部および下縁部を含む前記積み上げた物体の部分画像を抜き出し、当該部分画像の周囲に、前記積み上げた物体と異なる色の余白部を設けた認識用画像を作成する作成部と、
前記認識用画像において、前記積み上げた物体の全体像の前記上縁部および前記下縁部と、各物体の間の境目との画像を検知する検知部と、
検知した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントするカウント部と、
を備える端末である。

【0013】

本発明の第１の特徴によれば、積み上げた物体の全体像を撮影した画像の一部を抜き出し、抜き出した画像の周囲に積み上げた物体とは異なる色の余白を設けることによって、積み上げた物体の全体像の上縁部および下縁部と、各物体の間の境目との特徴がより際立つことから、積み上げた物体をカウントする際に必要となる各物体の境目の特徴点が確実に抽出できるため、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体でも正確にカウントすることが可能となる。

【0014】

本発明の第２の特徴は、第１の特徴に係る発明であって、
前記検知部は、前記認識用画像において、前記積み上げた物体の各物体の画像を検知し、
前記カウント部は、検知した前記各物体の画像に基づいて、前記積み上げた物体をカウントする端末を提供する。

【0015】

本発明の第２の特徴によれば、各物体自体を検知することによって、積み上げた物体の上縁部や下縁部、あるいは各物体の間の境目が検出できなかった場合でも、各物体自体をカウントすることによって、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体でも正確にカウントすることが可能となる。

【0016】

本発明の第３の特徴は、第１の特徴に係る発明であって、
カウントした結果を出力する出力部をさらに備える端末を提供する。

【0017】

本発明の第３の特徴によれば、積み上げた物体のカウント結果が端末に出力されることにより、ユーザーは、積み上げた物体のカウント数などを即座に把握することが可能となる。

【0018】

本発明の第４の特徴は、第１の特徴に係る発明であって、
前記認識用画像と、前記上縁部、前記下縁部および前記境目の画像とを学習して、学習済みモデルを作成する学習部と、
前記学習済みモデルに基づいて、前記認識用画像において、前記積み上げた物体の前記上縁部および前記下縁部と、各物体の間の境目との画像を推測する推測部と、をさらに備え、
前記カウント部は、推測した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントする端末を提供する。

【0019】

本発明の第４の特徴によれば、認識用画像と、上縁部、下縁部および境目の画像を学習して学習済みモデルを作成することにより、積み上げた物体の上縁部および下縁部と、各物体の間の境目との認識精度を向上できることから、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体のカウント精度を高めることが可能となる。

【0020】

本発明の第５の特徴は、第４の特徴に係る発明であって、
前記学習部は、前記各物体の画像をさらに学習し、
前記推測部は、前記学習済みモデルに基づいて、前記認識用画像において、前記積み上げた物体の各物体の画像を推測し、
前記カウント部は、推測した前記各物体の画像に基づいて、前記積み上げた物体をカウントする端末を提供する。

【0021】

本発明の第５の特徴によれば、認識用画像および各物体の画像を学習して学習済みモデルを作成することにより、積み上げた物体の認識精度を向上できることから、積み上げた物体の上縁部や下縁部、あるいは各物体の間の境目を認識できなかった場合でも、各物体自体をカウントすることによって、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体のカウント精度を高めることが可能となる。

【0022】

本発明の第６の特徴は、第４の特徴に係る発明であって、
前記学習部は、前記余白部の一部を含めたバウンディングボックスアノテーションによって学習する端末を提供する。

【0023】

本発明の第６の特徴によれば、積み重ねた物体の形状が上下したり、見た目の厚さが異なる場合でも、バウンディングボックスアノテーションによって、学習する画像データに、画像上の情報を単純にタグ付けして学習して学習モデルを作成し、かつ、物体の自動カウント精度を維持することが可能となる。

【0024】

本発明は、端末のカテゴリであるが、システム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【発明の効果】

【0025】

本発明によれば、画像認識による物体を検知することによって、積み重ねた物体の形状が上下したり、見た目の厚さが異なっていても、見た目の厚さが異なるような柔らかい物体をカウントすることが可能な、積み上げた物体をカウントするための端末、システム、方法およびプログラムを提供することが可能となる。

【図面の簡単な説明】

【0026】

【図1】本発明の第１実施形態である物体をカウントするための端末１の概要を説明するための図である。

【図2】本実施形態の物体をカウントするための端末１の構成図である。

【図3】本実施形態の物体をカウントするための端末１が実行する物体カウント処理のフローチャートである。

【図4】本実施形態の物体カウント処理において端末１が取得する積み上げた物体の全体像１１０を撮影した画像１００の一例を示す図である。

【図5】本実施形態の物体カウント処理において端末１が作成する認識用画像２００を説明するための図である。

【図6】本実施形態の物体をカウントするための端末１が実行する認識用画像２００における検知処理を説明するための図である。

【図7】本発明の第２実施形態である物体をカウントするための端末１の概要を説明するための図である。

【図8】本発明の第２実施形態による物体をカウントするための端末１が実行する物体カウント処理のフローチャートである。

【図9】本実施形態の物体をカウントするための端末１が実行する学習処理のフローチャートである。

【発明を実施するための形態】

【0027】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0028】

［物体をカウントするための端末１の概要］
本発明の第１実施形態である物体をカウントするための端末１の概要について、図１に基づいて説明する。図１は、本発明の第１実施形態である物体をカウントするための端末１の概要を説明するための図である。

【0029】

物体をカウントするための端末１は、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画および／または静止画等の画像を撮影する撮像デバイスを備える。

【0030】

端末１は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0031】

次に、物体をカウントするための端末１が実行する処理の概要について説明する。
まず、端末１は、積み上げた物体の全体像１１０を含む画像１００を取得する（ステップＳ１）。具体的には、端末１は、カウント対象となる積み上げた物体の全体像１１０を、ユーザーが端末１を用いて撮影した画像１００を取得する。

【0032】

次に、端末１は、画像１００から、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０を含む部分画像２１０を抜き出し、この部分画像２１０の周囲に、積み上げた物体と異なる色の余白部２２０を設けた認識用画像２００を作成する（ステップＳ２）。具体的には、端末１は、ステップＳ１で取得した画像１００から、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０を含める方向に、画像１００の一部を部分画像２１０として抜き出し、この抜き出した部分画像２１０と、積み上げた物体の色とは異なる色の当該部分画像２１０の周囲に余白部２２０を設けるように合成する。余白部２２０の色は、積み上げた物体の色とは異なる色であれば、どの色でも良いが、色相環における反対色（捕色）が好ましい。余白部２２０の色は、端末１がユーザーから選択入力を受け付けてもよい。この場合、端末１は、受け付けた色が積み上げた物体の色と同色または同系色である場合は、選択入力を受け付けないようにしてもよく、この際、エラーメッセージ等を出力してもよい。また、余白部２２０の大きさについては、特に問わないが、余白部２２０が大きすぎると、認識用画像２００内の積み上げた物体の割合が相対的に小さくなることから、余白部２２０の大きさは、抜き出した部分画像２１０の幅の２～３割とするのが好ましい。

【0033】

次に、端末１は、認識用画像２００において、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０の間の境目２３０との画像を検知する（ステップＳ３）。具体的には、端末１は、認識用画像２００に写っている積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０を区別する境目２３０との画像特有の特徴量を検出する。上縁部１２０、下縁部１３０および各境目２３０の検知方法については、特に限定しない。

【0034】

ステップＳ３において、端末１は、検出した上縁部１２０、下縁部１３０および各境目２３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ３以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0035】

次に、端末１は、検知した上縁部１２０、下縁部１３０および境目２３０の画像に基づいて、積み上げた物体をカウントする（ステップＳ４）。具体的には、端末１は、検知した境目２３０の画像の数をカウントし、＋１する補正を行う。ここで、上縁部１２０および下縁部１３０の画像をさらに検知した場合は、境目２３０の画像の数をカウントし、－１する補正を行う。また、上縁部１２０および下縁部１３０のいずれか一方の画像を検知した場合は、境目２３０の画像の数をカウントし、補正は行わない。このようにして、積み上げた物体の個数を算出する。尚、端末１は、カウント結果を出力して、ユーザーに通知してもよい。出力方法については、特に限定されず、自身の表示部に出力してもよいし、音声等でスピーカ－等により放音してもよいし、他の端末や装置に配信してもよい。

【0036】

以上が、物体をカウントするための端末１が実行する処理の概要である。

【0037】

［物体をカウントするための端末１のシステム構成］
図２に基づいて、本実施形態の物体をカウントするための端末１のシステム構成について説明する。

【0038】

端末１は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよい。

【0039】

端末１は、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画および／または静止画等の画像を撮影する撮像デバイスを備える。

【0040】

端末１は、制御部および処理部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、撮像部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0041】

撮像部は、動画および／または静止画等の画像を撮影するためのデバイスを備える。

【0042】

端末１は、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0043】

端末１は、入力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0044】

端末１は、出力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクター等の表示部への投影等の表示と、音声出力等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0045】

端末１は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0046】

制御部は、処理部と協働して、取得部１０、作成部１１，検知部１２、カウント部１３、学習部１４、推測部１５を実現する。

【0047】

以上が、物体をカウントするための端末１のシステム構成である。

【0048】

［物体カウント処理］
図３に基づいて、物体をカウントするための端末１が実行する物体カウント処理について説明する。図３は、本実施形態の物体をカウントするための端末１が実行する物体カウント処理のフローチャートを示す図である。物体カウント処理は、図３に示すように、ステップＳ１１～Ｓ１４で構成され、上述のステップＳ１～Ｓ４に対応する。

【0049】

まず、端末１の取得部１０は、積み上げた物体の全体像１１０を含む画像１００を取得する（ステップＳ１１）。具体的には、取得部１０は、カウント対象となる積み上げた物体の全体像１１０を、ユーザーが端末１を用いて撮影した画像１００を取得する。図４は、取得部１０が取得する積み上げた物体の全体像１１０を撮影した画像１００の一例を示す。画像１００は、モノクロ画像でもよいが、カラー画像が好ましい。また、画像は、動画でも静止画でもよい。尚、画像１００は、別の端末、コンピュータまたは装置からデータ通信等を介して取得してもよい。

【0050】

次に、端末１の作成部１１は、画像１００から、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０を含む部分画像２１０を抜き出し、この部分画像２１０の周囲に、積み上げた物体と異なる色の余白部２２０を設けた認識用画像２００を作成する（ステップＳ１２）。具体的には、図５に示すように、作成部１１は、ステップＳ１１で取得した画像１００から、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０を含める方向に、画像１００の一部を部分画像２１０として抜き出し、この抜き出した部分画像２１０と、積み上げた物体の色とは異なる色の当該部分画像２１０の周囲に余白部２２０を設けるように合成する。余白部２２０の色は、積み上げた物体の色とは異なる色であれば、どの色でも良いが、色相環における反対色（捕色）が好ましい。余白部２２０の色は、端末１の入力部が、ユーザーから選択入力を受け付けてもよい。この場合、受け付けた色が積み上げた物体の色と同色または同系色である場合は、入力部は、選択入力を受け付けないようにしてもよく、この際、出力部にエラーメッセージ等を出力してもよい。また、余白部２２０の大きさについては、特に問わないが、余白部２２０が大きすぎると、認識用画像２００内の積み上げた物体の割合が相対的に小さくなることから、余白部２２０の大きさは、抜き出した部分画像２１０の幅の２～３割とするのが好ましい。

【0051】

次に、端末１の検知部１２は、認識用画像２００において、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０の間の境目２３０との画像を検知する（ステップＳ１３）。具体的には、図６に示す通り、検知部１２は、認識用画像２００に写っている積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０を区別する境目２３０との画像特有の特徴量を検出し、各境目２３０が全体に及ぶように矩形状に囲んで抽出、つまり上縁部１２０、下縁部１３０および各境目２３０を含む矩形状の画像を抽出する。上縁部１２０、下縁部１３０および各境目２３０の検知および抽出方法については、特に限定しない。また、本実施形態では、上縁部１２０、下縁部１３０および各境目２３０を矩形状で囲んでいるが、他のいかなる形状で囲んでもよい。

【0052】

ステップＳ１３においては、端末１の検知部１２は、認識用画像２００において、各物体２４０の画像を、さらに検知してもよい。具体的には、上述の上縁部１２０、下縁部１３０および各境目２３０の検出同様、図６に示す通り、検知部１２は、認識用画像２００に写っている各物体２４０の画像特有の特徴量を検出し、各物体２４０が全体に及ぶように矩形状に囲んで抽出、つまり各物体２４０を含む矩形状の画像を抽出する。各物体２４０の検知および抽出方法については、特に限定しない。また、本実施形態では、各物体２４０を矩形状で囲んでいるが、他のいかなる形状で囲んでもよい。

【0053】

また、ステップＳ１３においては、端末１の学習部１４は、検出した上縁部１２０、下縁部１３０および各境目２３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。また、各物体２４０の画像特有の特徴量を検出した場合は、学習部１４は、検出した各物体２４０の画像特有の特徴量も機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ１３以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0054】

次に、端末１のカウント部１３は、検知した上縁部１２０、下縁部１３０および境目２３０の画像に基づいて、積み上げた物体をカウントする（ステップＳ１４）。具体的には、端末１は、検知した境目２３０の画像の数をカウントし、＋１する補正を行う。ここで、上縁部１２０および下縁部１３０の画像をさらに検知した場合は、境目２３０の画像の数をカウントし、－１する補正を行う。また、上縁部１２０および下縁部１３０のいずれか一方の画像を検知した場合は、境目２３０の画像の数をカウントし、補正は行わない。このようにして、積み上げた物体の個数を算出する。尚、端末１の出力部は、カウント結果を出力して、ユーザーに通知してもよい。出力方法については、特に限定されず、自身の表示部に出力してもよいし、音声等でスピーカ－等により放音してもよいし、他の端末や装置に配信してもよい。

【0055】

ステップＳ１４においては、前述のステップＳ１３で各物体２４０の画像を検知した場合、端末１のカウント部１３は、検知した各物体２４０の画像に基づいて、積み上げた物体をカウントしてもよい。具体的には、カウント部１３は、検知した各物体２４０の画像の数をカウントすることにより、積み上げた物体の各物体２４０の個数を算出してもよい。

【0056】

また、前述のステップＳ１３で各物体２４０の画像を検知した場合、検知した上縁部１２０、下縁部１３０および境目２３０の画像に基づくカウント結果と比較し、比較結果が一致しない場合、端末１の出力部は、積み上げた物体の全体像１１０の画像１００を再取得することを促す内容の通知を出力して、ユーザーに通知してもよい。出力方法については、特に限定されず、自身の表示部に出力してもよいし、音声等でスピーカ－等により放音してもよい。また端末１の通信部から他の端末や装置に配信してもよい。

【0057】

また、前述のステップＳ１３で各物体２４０の画像を検知した場合、ユーザーによる端末１から、積み上げた物体のカウントを、検知した境目２３０の画像に基づくのか、検知した各物体２４０に基づくのか、あるいは双方に基づくのかの選択入力を受け付けてもよい。

【0058】

以上が、物体カウント処理である。

【0059】

物体をカウントするための端末１によれば、積み上げた物体の全体像を撮影した画像の一部を抜き出し、抜き出した画像の周囲に積み上げた物体とは異なる色の余白を設けることによって、積み上げた物体の全体像の上縁部および下縁部と、各物体の間の境目の特徴がより際立つことから、積み上げた物体をカウントする際に必要となる各物体の境目の特徴点が確実に抽出できるため、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体でも正確にカウントすることが可能となる。

【0060】

また、物体をカウントするための端末１によれば、各物体の間の境目のほかに、各物体自体を検知することによって、積み上げた物体をカウントする際に必要となる特徴点をさらに抽出できるため、各物体の特徴や積み重ねた物体の背景の特徴によって、各物体の間の境目に基づいて物体を正確にカウントできない場合に、各物体自体をカウントするすることによって、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体でも正確カウントすることが可能となる。

【0061】

また、物体をカウントするための端末１によれば、積み上げた物体のカウント結果が端末に出力されることにより、ユーザーは、積み上げた物体のカウント数などを即座に把握することが可能となる。

【0062】

［第２実施形態］
［物体をカウントするための端末１の概要］
本発明の第２実施形態である物体をカウントするための端末１の概要について、図７に基づいて説明する。図７は、本発明の第１実施形態である物体をカウントするための端末１の概要を説明するための図である。なお、第１実施形態と同一の機能および構成については同一の符号を付し、説明を省略する。本実施形態が第１実施形態と異なるのは、学習済みデータを用いて物体をカウントする点である。

【0063】

［物体をカウントするための端末１の概要］
本発明の第２実施形態である物体をカウントするための端末１の概要について、図７に基づいて説明する。図７は、本発明の第２実施形態である物体をカウントするための端末１の概要を説明するための図である。

【0064】

物体をカウントするための端末１は、第１実施形態同様、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画および／または静止画等の画像を撮影する撮像デバイスを備える。

【0065】

端末１は、第１実施形態同様、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0066】

次に、物体をカウントするための端末１が実行する処理の概要について説明する。
まず、端末１は、積み上げた物体の全体像１１０を含む画像１００を取得する（ステップＳ２１）。具体的には、上述の第１実施形態のステップＳ１と同様である。

【0067】

次に、端末１は、画像１００から、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０を含む部分画像２１０を抜き出し、この部分画像２１０の周囲に、積み上げた物体と異なる色の余白部２２０を設けた認識用画像２００を作成する（ステップＳ２２）。具体的には、上述の第１実施形態のステップＳ２と同様である。

【0068】

次に、端末１は、認識用画像２００において、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０の間の境目２３０との画像を推測する（ステップＳ２３）。具体的には、端末１は、予め機械学習して作成した学習済みモデル３００に基づいて、認識用画像２００に写っている積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０を区別する境目２３０とを推測して抽出する。機械学習の種類や方法については、特に問わない。上縁部１２０、下縁部１３０および境目２３０の画像の推測方法については、特に限定しない。

【0069】

ステップＳ２３においては、端末１は、推測した上縁部１２０、下縁部１３０および各境目２３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ２３以降であれば、いずれのタイミングで行なってもよく、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0070】

次に、端末１は、推測した上縁部１２０、下縁部１３０および境目２３０の画像に基づいて、積み上げた物体をカウントする（ステップＳ２４）。具体的には、推測した上縁部１２０、下縁部１３０および境目２３０の画像に基づく以外は、上述の第１実施形態のステップＳ４と同様である。

【0071】

以上が、物体をカウントするための端末１が実行する処理の概要である。

【0072】

［物体をカウントするための端末１のシステム構成］
本実施形態の物体をカウントするための端末１のシステム構成は、上述の第１実施形態と同様であるため、その説明を省略する。

【0073】

［物体カウント処理］
図８に基づいて、物体をカウントするための端末１が実行する物体カウント処理について説明する。図８は、本実施形態の物体をカウントするための端末１が実行する物体カウント処理のフローチャートを示す図である。物体カウント処理は、図８に示すように、ステップＳ３１～Ｓ３４で構成され、上述のステップＳ２１～Ｓ２４に対応する。

【0074】

まず、端末１の取得部１０は、積み上げた物体の全体像１１０を含む画像１００を取得する（ステップＳ３１）。具体的には、上述の第１実施形態のステップＳ１１と同様である。

【0075】

次に、端末１の作成部１１は、画像１００から、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０を含む部分画像２１０を抜き出し、この部分画像２１０の周囲に、積み上げた物体と異なる色の余白部２２０を設けた認識用画像２００を作成する（ステップＳ３２）。具体的には、上述の第１実施形態のステップＳ１２と同様である。

【0076】

次に、端末１の推測部１５は、認識用画像２００において、積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０の間の境目２３０との画像を推測する（ステップＳ３３）。具体的には、図６に示す通り、推測部１５は、認識用画像２００に写っている積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０を区別する境目２３０とを推測し、各境目２３０が全体に及ぶように矩形状に囲んで抽出、つまり上縁部１２０、下縁部１３０および各境目２３０を含む矩形状の画像を抽出する。上縁部１２０、下縁部１３０および各境目２３０の推測および抽出方法については、特に限定しない。また、本実施形態では、上縁部１２０、下縁部１３０および各境目２３０を矩形状で囲んでいるが、他のいかなる形状で囲んでもよい。

【0077】

ステップＳ３３においては、端末１の検知部１２は、認識用画像２００において、各物体２４０の画像を、さらに推測してもよい。具体的には、上述の上縁部１２０、下縁部１３０および各境目２３０の推測同様、図６に示す通り、検知部１２は、認識用画像２００に写っている各物体２４０の画像特有の特徴量を推測し、各物体２４０が全体に及ぶように矩形状に囲んで抽出、つまり各物体２４０を含む矩形状の画像を抽出する。各物体２４０の推測および抽出方法については、特に限定しない。また、本実施形態では、各物体２４０を矩形状で囲んでいるが、他のいかなる形状で囲んでもよい。

【0078】

また、ステップＳ３３においては、端末１の学習部１４は、推測した上縁部１２０、下縁部１３０および各境目２３０の画像特有の特徴量を機械学習によって再学習させて、学習済みモデル３００を更新してもよい。また、各物体２４０の画像特有の特徴量を推測した場合は、学習部１４は、推測した各物体２４０の画像特有の特徴量も機械学習によって再学習させて、学習済みモデル３００を更新してもよい。尚、この機械学習による再学習は、ステップＳ３３以降であれば、いずれのタイミングで行なってもよく、端末１の入力部がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0079】

次に、端末１のカウント部１３は、推測した上縁部１２０、下縁部１３０および境目２３０の画像に基づいて、積み上げた物体をカウントする（ステップＳ３４）。具体的には、推測した上縁部１２０、下縁部１３０および境目２３０の画像に基づいて境目２３０の画像に基づく以外は、上述の第１実施形態のステップＳ１４と同様である。

【0080】

以上が、物体カウント処理である。

【0081】

［学習処理］
図９に基づいて、物体をカウントするための端末１が実行する学習処理について説明する。図９は、物体をカウントするための端末１が実行する学習処理のフローチャートを示す図である。

【0082】

端末１の取得部１０は、学習用画像を取得する（ステップＳ５１）。具体的には、上述のステップＳ２１～Ｓ２２を実施することによって作成した認識用画像２００を学習用画像として取得する。

【0083】

端末１の学習部１４は、作成した学習用画像を解析する（ステップＳ５２）。具体的には、学習部１４は、この学習用画像に写った積み上げた物体の全体像１１０の上縁部１２０および下縁部１３０と、各物体２４０の間の境目２３０との画像を検知して画像解析し、上縁部１２０、下縁部１３０および各境目２３０に特有の特徴量をそれぞれ抽出する。また、学習部１４は、ユーザーからの入力を端末１の入力部が受け付けることにより、本ステップを実行してもよい。

【0084】

ステップＳ５２においては、端末１の学習部１４は、学習用画像において、各物体２４０をさらに検知して画像解析し、当該各物体２４０に特有の特徴量をそれぞれ抽出してもよい。

【0085】

端末１の学習部１４は、ステップＳ５２で抽出した上縁部１２０、下縁部１３０および各境目２３０に特有の特徴量に基づいて、機械学習を実行する（ステップＳ５３）。具体的には、学習部１４は、機械学習として、ステップＳ５２で抽出した上縁部１２０、下縁部１３０および各境目２３０に特有の特徴量を、アノテーションにより上縁部１２０、下縁部１３０および各境目２３０としてそれぞれタグ付けして教師データを作成して、教師あり学習を実行する。また、ステップＳ５２において、各物体２４０に特有の特徴量を抽出した場合は、当該特徴量を、アノテーションにより各物体２４０としてタグ付して教師データを作成して教師あり学習を実行してもよい。

【0086】

アノテーションは、例えば、アノテーションツールにより、上縁部１２０、下縁部１３０および各境目２３０の領域や、各物体２４０の領域を矩形で囲むバウンディングボックス手法を用いてよいが、このほかの手法を用いてもよいことは言うまでもない。また、あらゆるアノテーションツールを用いてよい。アノテーションを行う際、上縁部１２０、下縁部１３０および各境目２３０の領域や、各物体２４０の領域は、矩形以外の形状で囲んでもよい。尚、作成した教師データは、多層構造のニューラルネットワークによって自動的に定義して学習する深層学習（ディープラ-ニング）で学習してもよい。

【0087】

端末１の学習部１４は、学習結果に基づいて、認識用学習済みモデルを作成する（ステップＳ５４）。具体的には、学習部１４は、ステップＳ５３で作成した教師データを組み込んだ学習済みモデル３００を作成する。

【0088】

端末１の学習部１４は、作成した学習済みモデル３００を、自身の記憶部に記憶する（ステップＳ５５）。

【0089】

以上が、学習処理である。

【0090】

物体をカウントするための端末１によれば、第１実施形態で得られる効果に加え、さらに、以下の効果が得られる。

【0091】

認識用画像と、上縁部、下縁部および境目の画像を学習して学習済みモデルを作成することにより、積み上げた物体の上縁部および下縁部と、各物体の間の境目との認識精度を向上できることから、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体のカウント精度を高めることが可能となる。

【0092】

また、認識用画像および各物体の画像を学習して学習済みモデルを作成することにより、積み上げた物体の認識精度を向上できることから、積み上げた物体の上縁部や下縁部、あるいは各物体の間の境目を認識できなかった場合でも、各物体自体をカウントすることによって、積み重ねた物体の形状が上下したり、見た目の厚さが異なるような柔らかい物体のカウント精度を高めることが可能となる。

【0093】

また、積み重ねた物体の形状が上下したり、見た目の厚さが異なる場合でも、バウンディングボックスアノテーションによって、学習する画像データに、画像上の情報を単純にタグ付けして学習して学習モデルを作成し、かつ、物体の自動カウント精度を維持することが可能となる。

【0094】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、単数または複数の端末からネットワーク経由で提供される（クラウドサービス、ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、コンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置または外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介して端末に提供するようにしてもよい。

【0095】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0096】

１ 端末、１０ 取得部、１１ 作成部、１２ 検知部、１３ カウント部、１４ 学習部、１５ 推測部、１００ 画像、１１０ 積み上げた物体の全体像、１２０ 上縁部、１３０ 下縁部、２００ 認識用画像、２１０ 部分画像、２３０ 境目、２４０ 各物体、３００ 学習済みモデル

【要約】

【課題】画像認識による物体を検知することによって、積み重ねた物体の形状が上下したり、見た目の厚さが異なっていても、物体をカウントする。
【解決手段】
積み上げた物体をカウントするための端末は、前記積み上げた物体の全体像を含む画像を取得し、前記画像から、前記積み上げた物体の全体像の上縁部および下縁部を含む前記積み上げた物体の部分画像を抜き出し、当該部分画像の周囲に、前記積み上げた物体と異なる色の余白部を設けた認識用画像を作成し、前記認識用画像において、前記積み上げた物体の全体像の前記上縁部および前記下縁部と、各物体の間の境目との画像を検知し、検知した前記上縁部、前記下縁部および前記境目の画像に基づいて、前記積み上げた物体をカウントする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】