特許 7474546 イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-17

(45)【発行日】2024-04-25

(54)【発明の名称】イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240418BHJP

   G06T 7/00 20170101ALI20240418BHJP

【ＦＩ】

G06T7/60 110

G06T7/00 350C

【請求項の数】 13

(21)【出願番号】P 2023528639

(86)(22)【出願日】2021-08-13

(65)【公表番号】

(43)【公表日】2023-11-22

(86)【国際出願番号】 KR2021010824

(87)【国際公開番号】W WO2022108044

(87)【国際公開日】2022-05-27

【審査請求日】2023-05-12

(31)【優先権主張番号】10-2020-0153982

(32)【優先日】2020-11-17

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2020-0153993

(32)【優先日】2020-11-17

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】523176277

【氏名又は名称】メディリティ インク

【氏名又は名称原語表記】ＭＥＤＩＬＩＴＹ ＩＮＣ

【住所又は居所原語表記】Ｇｕｃｈｅｏｎｍｙｅｏｎ－ｒｏ， ６５８ Ｇａｎｇｄｏｎｇ－ｇｕ， Ｓｅｏｕｌ ０５２８２， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】イム、サン キュ

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０２０－１８２５２５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２０６４３１（ＵＳ，Ａ１）

【文献】特開２０２０－０７１７９３（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１６２６９９３（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１６／０１８０１７３（ＵＳ，Ａ１）

【文献】Niels Ole Salscheider，FeatureNMS: Non-Maximum Suppression by Learning Feature Embeddings，2020 25th International Conference on Pattern Recognition，米国，arXiv.org [online]，2020年10月12日，https://arxiv.org/pdf/2002.07662.pdf

【文献】三上量弘 外２名，ＤｅｅｐＣｏｕｎｔｅｒ：深層学習を用いた細粒度なゴミ排出量データ収集手法 :，情報処理学会論文誌（ジャーナル），日本，情報処理学会，2020年01月15日，第61巻 第1号，pp.36～48

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

ユーザ端末機により、一つ以上のオブジェクトを含むイメージが入力されるステップと、
イメージ分析サーバーにより、各々の前記オブジェクトに対して複数個のボックスを形成し、複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップと、
イメージ分析サーバーにより、残っているボックスの個数をカウントし、ボックスに対応する個数をユーザ端末機に転送するステップと、を含む、イメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項2】

イメージ分析サーバーにより、各々の前記オブジェクトに対して複数個のボックスを形成し、複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップは、
ボックス設定モジュールにより、オブジェクト認識ディープラーニングモデルを実行して、各々の前記オブジェクトに対して複数個のボックスを形成するステップを含む、請求項１に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項3】

各々の前記オブジェクトに対して複数個のボックスを形成するステップの以後に、第１のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行される、請求項２に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項4】

第１のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行された後、第２のボックス除去モジュールにより、一つのオブジェクトに一つのボックスだけを残し、その他のボックスを削除するステップが実行される、請求項３に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項5】

前記第２のボックス除去モジュールにより、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除するステップは、
基準ボックス設定部により、残っているボックスのうち、任意のボックスを基準ボックスに設定するステップと、
集合ボックス設定部により、前記基準ボックスと重なり合うボックスの集合である集合ボックスを設定するステップと、
比較空間設定部により、前記基準ボックスが占める空間のうち、前記集合ボックスと重なり合う空間を除去して、前記基準ボックスで残っている空間を比較空間に設定するステップと、
錠剤係数比較によるボックス除去部により、前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、前記基準ボックスに設定されたボックスを残し、前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、前記基準ボックスに設定されたボックスを除去するステップと、を含む、請求項４に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項6】

前記ボックス設定モジュールにより実行されるオブジェクト認識ディープラーニングモデルは、ＲｅｔｉｎａＮｅｔである、請求項２に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項7】

前記第１のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムは、ＮＭＳである、請求項３に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項8】

前記錠剤係数は、前記オブジェクトの大きさ及び形状によってデータベースに保存され、
錠剤係数判断モジュールは、イメージに表示されたオブジェクトの大きさ及び形状によって前記データベースに保存された錠剤係数をマッチングさせる、請求項５に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。

【請求項9】

ユーザ端末機から一つ以上のオブジェクトを含むイメージが入力され、
各々の前記オブジェクトに対して複数個のボックスを形成し、
複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、
残っているボックスの個数をカウントして、ボックスに対応する個数をユーザ端末機に転送する、イメージ分析サーバー。

【請求項10】

前記イメージ分析サーバーは、
オブジェクト認識ディープラーニングモデルを実行して、各々の前記オブジェクトに対して複数個のボックスを形成するボックス設定モジュールと、
各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる第１のボックス除去モジュールと、
一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除する第２のボックス除去モジュールと、を含む、請求項９に記載のイメージ分析サーバー。

【請求項11】

前記第２のボックス除去モジュールは、
残っているボックスのうち、任意のボックスを基準ボックスに設定する基準ボックス設定部と、
前記基準ボックスと重なり合うボックスの集合である集合ボックスを設定する集合ボックス設定部と、
前記基準ボックスが占める空間のうち、前記集合ボックスと重なり合う空間を除去して、前記基準ボックスで残っている空間を比較空間に設定する比較空間設定部と、
前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、前記基準ボックスに設定されたボックスを残し、前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、前記基準ボックスに設定されたボックスを除去する錠剤係数比較によるボックス除去部と、を含む、請求項１０に記載のイメージ分析サーバー。

【請求項12】

前記イメージ分析サーバーは、
前記オブジェクトの大きさ及び形状による錠剤係数を保存しているデータベースと、
前記イメージに表示されたオブジェクトの大きさ及び形状によって、前記データベースに保存された錠剤係数をマッチングさせる錠剤係数判断モジュールと、をさらに含む、請求項１０に記載のイメージ分析サーバー。

【請求項13】

一つ以上のオブジェクトを含むイメージが入力されるユーザ端末機と、
各々の前記オブジェクトに対して複数個のボックスを形成し、複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、残っているボックスをカウントできる請求項９乃至１２のいずれか一項に記載のイメージ分析サーバーと、を含む、オブジェクトカウントシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムに関する。

【背景技術】

【0002】

高齢化社会の進入により、来院する患者の需要が増加しており、これにより、投与される薬の種類や個数も増加している。

【0003】

しかしながら、小規模の薬屋や病院では、患者に錠剤を投与したり、在庫調査を行ったりする場合、手作業で錠剤の個数をカウントしなければならない不便さがある。また、人が手作業で錠剤をカウントする場合、既定数の錠剤よりも少なく投与されたり、多く投与されたりする恐れがある。

【0004】

このような問題点を解消するために、大規模の薬屋や病院では、錠剤をカウントする装置を導入して使用しているが、このような装置は、高価であるため、小規模の薬屋や病院では現実的に購入し難いという問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、前記のような問題点を解決するために提案されたものであって、複雑で高価の装備を導入することなく、簡単にオブジェクト（例えば、錠剤）の個数をカウントできるイメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムを提供する。

【0006】

また、密着されているオブジェクト（例えば、錠剤）の個数を正確にカウントできるイメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムを提供する。

【課題を解決するための手段】

【0007】

本発明の一実施例によれば、ユーザ端末機により、一つ以上のオブジェクトを含むイメージが入力されるステップと、イメージ分析サーバーにより、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップと、イメージ分析サーバーにより、残っているボックスの個数をカウントし、ボックスに対応する個数をユーザ端末機に転送するステップと、を含む、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0008】

また、イメージ分析サーバーにより、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップは、ボックス設定モジュールにより、オブジェクト認識ディープラーニングモデルを実行して、各々のオブジェクトに対して複数個のボックスを形成するステップを含む、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0009】

また、各々のオブジェクトに対して複数個のボックスを形成するステップの以後に、第１のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行される、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0010】

また、第１のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行された後、第２のボックス除去モジュールにより、一つのオブジェクトに一つのボックスだけを残し、その他のボックスを削除するステップが実行される、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0011】

また、第２のボックス除去モジュールにより、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除するステップは、基準ボックス設定部により、残っているボックスのうち、任意のボックスを基準ボックスに設定するステップと、集合ボックス設定部により、基準ボックスと重なり合うボックスの集合である集合ボックスを設定するステップと、比較空間設定部により、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定するステップと、錠剤係数比較によるボックス除去部により、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去するステップと、を含む、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0012】

また、ボックス設定モジュールにより実行されるオブジェクト認識ディープラーニングモデルは、ＲｅｔｉｎａＮｅｔである、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0013】

また、第１のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムは、ＮＭＳ（non-maximum suppression）である、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0014】

また、錠剤係数は、オブジェクトの大きさ及び形状によってデータベースに保存され、錠剤係数判断モジュールは、イメージに表示されたオブジェクトの大きさ及び形状によってデータベースに保存された錠剤係数をマッチングさせる、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。

【0015】

本発明の他の実施例によれば、ユーザ端末機から一つ以上のオブジェクトを含むイメージが入力され、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、残っているボックスの個数をカウントして、ボックスに対応する個数をユーザ端末機に転送する、イメージ分析サーバーを提供できる。

【0016】

また、イメージ分析サーバーは、オブジェクト認識ディープラーニングモデルを実行して、各々のオブジェクトに対して複数個のボックスを形成するボックス設定モジュールと、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる第１のボックス除去モジュールと、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除する第２のボックス除去モジュールと、を含む、イメージ分析サーバーを提供できる。

【0017】

また、第２のボックス除去モジュールは、残っているボックスのうち、任意のボックスを基準ボックスに設定する基準ボックス設定部と、基準ボックスと重なり合うボックスの集合である集合ボックスを設定する集合ボックス設定部と、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定する比較空間設定部と、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去する錠剤係数比較によるボックス除去部と、を含む、イメージ分析サーバーを提供できる。

【0018】

また、イメージ分析サーバーは、オブジェクトの大きさ及び形状による錠剤係数を保存しているデータベースと、イメージに表示されたオブジェクトの大きさ及び形状によって、データベースに保存された錠剤係数をマッチングさせる錠剤係数判断モジュールと、をさらに含む、イメージ分析サーバーを提供できる。

【0019】

本発明のまた他の実施例によれば、一つ以上のオブジェクトを含むイメージが入力されるユーザ端末機と、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、残っているボックスをカウントできる前述したイメージ分析サーバーと、を含む、オブジェクトカウントシステムを提供できる。

【発明の効果】

【0020】

本発明の実施例に係るイメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムは、複雑で高価の装備を導入することなく、簡単にオブジェクト（例えば、錠剤）の個数をカウントできる。

【0021】

また、密着されているオブジェクト（例えば、錠剤）の個数を正確にカウントできる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施例に係るオブジェクトカウントシステムを概略的に示す図である。

【図2】図１のイメージ分析サーバーの構成を概略的に示す図である。

【図3】図２のイメージ分析サーバーの第２のボックス除去モジュールの下位構成を概略的に示す図である。

【図4】図１のオブジェクトカウントシステムにより実行されるイメージ分析サーバーを用いたオブジェクトカウント方法を概略的に示すフローチャートである。

【図5】図４のステップＳ１乃至ステップＳ３のうち、ステップＳ２に関してより詳細に示すフローチャートである。

【図6】図５のステップＳ３２乃至ステップＳ３６のうち、ステップＳ３６に関してより詳細に示すフローチャートである。

【図7】図１に示すユーザ端末機によりオブジェクトが入力されることを概念的に示す図である。

【図8】図１のイメージ分析サーバーによりオブジェクト認識ディープラーニングモデルであるＲｅｔｉｎａＮｅｔが実行されて、一つの錠剤に対して複数個のボックスが形成されることを概念的に示す図である。

【図9】図１のイメージ分析サーバーによりボックスを除去するアルゴリズムであるＮＭＳ（non-maximum suppression）が実行されることで、一つの錠剤（オブジェクト）に形成されたボックスを概念的に示す図である。

【図10】図６に示すステップＳ３６の理解を助けるために概念的に示す図である。

【図11】図１のオブジェクカウントシステムを用いて、複数個のイメージをイメージ分析サーバーに転送し、複数個のイメージの各々に含まれた一つ以上のオブジェクトをカウントするフローチャートを概略的に示す図である。

【図12】単一分析モード及びマルチ分析モードである場合、図１のユーザ端末機に表示される画面を示す図である。

【図13】マルチ分析モードである場合、イメージ分析サーバーにより分析が完了した複数個のイメージの各々に含まれたオブジェクトの個数及び種類が、図１のユーザ端末機の画面に表示される図である。

【図14】図１のユーザ端末機が定着されるマルチ分析補助機構を概略的に示す図である。

【図15】マルチ分析モードを容易に実施するための図１４のマルチ分析補助機構及び移動ベルトを概略的に示す図である。

【発明を実施するための形態】

【0023】

図１は、本発明の一実施例に係るオブジェクトカウントシステム１を概略的に示す図である。

【0024】

図１を参照すれば、オブジェクトカウントシステム１は、イメージ分析サーバー１０、ユーザ端末機２０及び管理者端末機３０を含むことができる。

【0025】

ここで、イメージ分析サーバー１０、ユーザ端末機２０及び管理者端末機３０は、互いに独立的な装置として提供され、通信網４０を介してデータ通信するか、或いは、イメージ分析サーバー１０及び管理者端末機３０が、一つの物理的な装置からなり、直接的にデータ通信可能であるように提供され得る。

【0026】

本実施例では、イメージ分析サーバー１０、ユーザ端末機２０及び管理者端末機３０は、別個の独立的な装置として提供されることを例として説明する。

【0027】

本実施例のオブジェクトカウントシステム１は、イメージに含まれたオブジェクトの個数を正確にカウントできるシステムとして理解できる。

【0028】

具体的に、ユーザが、ユーザ端末機２０を介してオブジェクトを撮影すれば、撮影されたオブジェクトを含むイメージは、イメージ分析サーバー１０に転送され、イメージ分析サーバー１０により、既定のアルゴリズムを経て、イメージに表示されるオブジェクトの個数をカウントできる。

【0029】

本実施例において、オブジェクトは、一定の形状を有する錠剤であることを例として説明する。ユーザ端末機２０により撮影されたオブジェクトが錠剤である場合、本実施例のオブジェクトカウントシステム１は、薬屋や病院で使用可能な錠剤の個数をカウントするシステムとして理解できる。

【0030】

ただし、本発明の思想は、これに限定されず、オブジェクトは、一定の形状を有する全ての物体を含むことができる。

【0031】

イメージ分析サーバー１０は、ユーザ端末機２０からイメージデータを受信し、イメージに表示されたオブジェクトの個数をカウントするのに必要なデータを処理するサーバーとして理解できる。

【0032】

一つのイメージに含まれたオブジェクトは、同一の大きさ及び形状を有する同一の種類のオブジェクトであり得る。すなわち、イメージ分析サーバー１０は、一つのイメージに含まれた同一のオブジェクトをカウントできる。

【0033】

ただし、本発明の思想は、これに限定されず、一つのイメージに含まれたオブジェクトは、互いに異なる大きさ及び形状を有する互いに異なる種類のオブジェクトであり得る。このとき、イメージ分析サーバー１０は、一つのイメージに含まれた互いに異なる種類のオブジェクトをカウントすることもできる。

【0034】

ユーザ端末機２０は、後述するオブジェクトプレートに載置されたオブジェクトを撮影して、イメージとして表示できる。

【0035】

また、ユーザ端末機２０は、イメージ分析サーバー１０と通信可能な装置であって、移動型端末またはコンピュータ装置で具現される固定型端末であり得る。

【0036】

例えば、ユーザ端末機２０は、オブジェクトを撮影できるカメラを含むスマートフォン、ノートブック、タブレットＰＣ、ウェアラブルデバイス（wearable device）、コンピュータなどを含むことができる。ただし、ユーザ端末機２０は、このような例に限定されず、別途のカメラとして提供されることもできる。

【0037】

管理者端末機３０は、イメージ分析サーバー１０を介して、ユーザ端末機２０に提供する機能をアップデートしたり、一定の命令を入力したりできる装置として理解できる。例えば、管理者端末機３０は、イメージ分析サーバー１０と通信可能なスマートフォン、ノートブック、タブレットＰＣ、ウェアラブルデバイス、コンピュータなどを含むことができる。

【0038】

図２は、図１のイメージ分析サーバー１０の構成を概略的に示す図であり、図３は、図２のイメージ分析サーバー１０の第２のボックス除去モジュール３３０の下位構成を概略的に示す図である。

【0039】

図２及び図３を参照すれば、イメージ分析サーバー１０は、メモリ２００、プロセッサ３００及び通信モジュール４００を含むことができる。

【0040】

プロセッサ３００は、基本的な算術、ロジック及び入出力演算を遂行することで、コンピュータプログラムの命令を処理するように構成できる。命令は、メモリ２００又は通信モジュール４００から、プロセッサ３００に提供され得る。その他、命令は、イメージ分析サーバー１０を構成する各々の構成要素間の通信チャンネルを介して、プロセッサ３００に提供され得る。

【0041】

プロセッサ３００は、オブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するために必要なデータの入出力、データの処理、データの管理、通信網４０を用いた通信など多様な機能を遂行できる。これを実行するためのプロセッサ３００の具体的な構成要素は後述する。

【0042】

また、プロセッサ３００の構成要素は、ディープラーニングにより予め学習された人工神経網を含むことができる。例えば、プロセッサ３００の構成要素の少なくとも一つは、後述するＲｅｔｉｎａＮｅｔを実現する人工神経網であり得、これに関する詳細な説明は後述する。

【0043】

メモリ２００は、コンピュータ読取り可能な記録媒体であって、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）及びディスクドライブのような永久的な大容量ストレージ装置（permanent mass storage device）を含むことができる。

【0044】

プロセッサ３００は、メモリ２００に保存されたプログラムコードをローディングしてオブジェクトをカウントするのに利用したり、オブジェクトの種類を判断するのに利用したりできる。このようなプログラムコードは、別途のコンピュータ読取り可能な記録媒体（例えば、ＤＶＤ、メモリカードなど）からローディングされたり、他の装置から通信モジュール４００を介して伝達されたりして、メモリ２００に保存できる。

【0045】

また、メモリ２００には、オブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するために必要なデータを保存できるデータベース２１０が提供され得る。

【0046】

通信モジュール４００は、通信網４０を介して、ユーザ端末機２０及びイメージ分析サーバー１０、または、管理者端末機３０及びイメージ分析サーバー１０が、互いに通信するための機能を提供できる。

【0047】

イメージ分析サーバー１０は、物理的な構成であるボックス設定モジュール３１０、第１のボックス除去モジュール３２０、第２のボックス除去モジュール３３０、錠剤係数判断モジュール３４０、カウントモジュール３５０、及び種類判断モジュール３６０を含むことができる。また、第２のボックス除去モジュール３３０は、基準ボックス設定部３３１、集合ボックス設定部３３２、比較空間設定部３３３、及び錠剤係数比較によるボックス除去部３３４を含むことができ、これに関する詳細な説明は後述する。

【0048】

図４は、図１のオブジェクトカウントシステム１により実行されるイメージ分析サーバーを用いたオブジェクトカウント方法を概略的に示すフローチャートであり、図５は、図４のステップＳ１乃至ステップＳ３のうち、ステップＳ２に関してより詳細に示すフローチャートであり、図６は、図５のステップＳ３２乃至ステップＳ３６のうち、ステップＳ３６に関してより詳細に示すフローチャートであり、図７は、図１に示すユーザ端末機２０によりオブジェクトが入力されることを概念的に示す図であり、図８は、図１のイメージ分析サーバー１０によりオブジェクト認識ディープラーニングモデルであるＲｅｔｉｎａＮｅｔが実行されて、一つの錠剤に対して複数個のボックスが形成されることを概念的に示す図であり、図９は、図１のイメージ分析サーバー１０によりボックスを除去するアルゴリズムであるＮＭＳ（non-maximum suppression）が実行されることで、一つの錠剤（オブジェクト）に形成されたボックスを概念的に示す図である。

【0049】

図４及び図９を参照すれば、イメージ分析サーバーを用いたオブジェクトカウント方法は、ユーザ端末機２０により、一つ以上のオブジェクトを含むイメージが入力されるステップ（Ｓ１）と、イメージ分析サーバー１０により、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップ（Ｓ２）と、イメージ分析サーバー１０により、残っているボックスをカウントし、ボックスに対応する個数をユーザ端末機２０に転送するステップ（Ｓ３）と、を含むことができる。

【0050】

イメージ分析サーバー１０によりカウントできる一つのイメージに含まれたオブジェクトは、同一の大きさ及び形状を有する同一の種類のオブジェクト、または、互いに異なる大きさ及び形状を有する複数個の種類のオブジェクトを含むことができる。

【0051】

本実施例では、イメージ分析サーバー１０によりカウントされる一つのイメージに含まれたオブジェクトは、同一の種類のオブジェクトであることを例として説明する。

【0052】

また、以下では、オブジェクトは錠剤であることを例として、前述した過程に関してより詳細に説明する。

【0053】

まず、ユーザ端末機２０により、一つ以上のオブジェクト（例えば、錠剤）を含むイメージが入力されるステップ（Ｓ１）について具体的に説明すれば、次の通りである。

【0054】

ユーザは、オブジェクトプレート５０に、同一の大きさ及び形状を有する同一の種類の錠剤を載置し（図７の（ａ）参照）、ユーザ端末機２０を介して、錠剤に対するイメージを撮影できる（図７の（ｂ）参照）。

【0055】

このとき、オブジェクトプレート５０には、錠剤が重なり合わないように載置しなければならない。

【0056】

ただし、本発明の思想は、これに限定されず、オブジェクトカウントシステム１は、後述するマルチ分析補助機構６０またはイメージ分析サーバー１０により、錠剤の重なり合いを警告する機能を含むことができる。これに関する詳細な説明は後述する。

【0057】

オブジェクトプレート５０は、錠剤が載置される平板であり得、錠剤と対比される色相または錠剤と異なる色相に提供され得る。例えば、錠剤が白色に提供される場合、オブジェクトプレート５０は黒色に提供され得る。

【0058】

その後、ユーザ端末機２０により撮影された錠剤を含むイメージは、イメージ分析サーバー１０に転送され得る。

【0059】

本実施例では、ユーザがユーザ端末機２０を把持してイメージを撮影することを例として説明しているが、本発明の思想は、これに限定されず、ユーザ端末機２０を後述するマルチ分析補助機構６０に載置してイメージを撮影することもでき（図１４参照）、これに関する詳細な説明は後述する。

【0060】

次に、イメージ分析サーバー１０により、各々のオブジェクト（例えば、錠剤）に対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップ（Ｓ２）について具体的に説明すれば、次の通りである。

【0061】

イメージ分析サーバー１０には、ユーザ端末機２０から同一の種類の複数個の錠剤を含むイメージが伝送され得る。

【0062】

その後、イメージ分析サーバー１０のボックス設定モジュール３１０により、一つのオブジェクトに対して複数個のボックスを形成できる（Ｓ３２）。

【0063】

例えば、ボックス設定モジュール３１０は、オブジェクト認識ディープラーニングモデルであるＲｅｔｉｎａＮｅｔを実行する人工神経網として提供され得る。ＲｅｔｉｎａＮｅｔが実行される場合、各々の錠剤に対して複数個のボックスを形成できる。ただし、ボックス設定モジュール３１０により実行できるオブジェクト認識ディープラーニングモデルは、ＲｅｔｉｎａＮｅｔに限定されず、ボックス設定モジュール３１０は、ＹＯＬＯのうち、ＣｅｎｔｅｒＮｅｔ一つ以上を実行することを含むことができる。

【0064】

ＲｅｔｉｎａＮｅｔを用いる場合、ボックスを使用してオブジェクトを検出する方法により神経回路網を学習する際に、オブジェクトサンプルの数が背景のサンプルの数に比べて非常に少なくて、これにより発生する問題点を解決できる。

【0065】

具体的に、ＲｅｔｉｎａＮｅｔは、ｂａｃｋｂｏｎｅネットワーク及び二つのｔａｓｋ－ｓｐｅｃｉｆｉｃ ｓｕｂｎｅｔｗｏｒｋｓからなる統合された一つのネットワークであり得る。ｂａｃｋｂｏｎｅネットワークは、入力された全体イメージに対して畳み込み特徴マップ（convolutional feature map）を計算する役割を遂行する。第一のｓｕｂｎｅｔは、ｂａｃｋｂｏｎｅの結果から、畳み込むようにオブジェクト区分（object classification）を遂行するステップであり、第二のｓｕｂｎｅｔは、畳み込むようにボックス（bounding box）を推定する役割を遂行できる。

【0066】

図８は、ボックス設定モジュール３１０により、オブジェクト認識ディープラーニングモデルであるＲｅｔｉｎａＮｅｔが実行されることで、一つの錠剤（オブジェクト）に対して複数個のボックス（Ｂ）が形成されることを概念的に示す図である。

【0067】

ボックス設定モジュール３１０により、ＲｅｔｉｎａＮｅｔが実行される場合、錠剤が密着されていると、一つの錠剤に対して複数個のボックスを形成するが、錠剤の個数とボックスの個数とが同一でない。したがって、錠剤が密着されている場合にも、錠剤の個数を正確にカウントするためには、ＲｅｔｉｎａＮｅｔが実行された後、ＲｅｔｉｎａＮｅｔにより形成された複数個のボックスの一部を除去するステップを実行しなければならない。

【0068】

具体的に、ボックス設定モジュール３１０により、ＲｅｔｉｎａＮｅｔが実行された後、イメージ分析サーバー１０の第１のボックス除去モジュール３２０により、一つのオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる（Ｓ３４）。

【0069】

例えば、第１のボックス除去モジュール３２０により実行されるアルゴリズムは、ＮＭＳ（non-maximum suppression）であり得る。ここで、ＮＭＳは、現在のピクセルに基づいて周辺のピクセルと比較したとき、極大値である場合は残し、そうでない場合は除去する非極大値抑制アルゴリズムとして理解できる。

【0070】

図９は、第１のボックス除去モジュール３２０により、ボックスを除去するアルゴリズムであるＮＭＳが実行されることで、一つの錠剤（オブジェクト）に形成されたボックスを概念的に示す。

【0071】

ＮＭＳが実行された後にも、複数の錠剤が非常に密着されている場合には、錠剤の個数とボックスの個数とが異なることができる。

【0072】

例えば、図９を参照すれば、非常に密着されている錠剤の３個に、５個のボックス（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５）が形成されることが分かる。このとき、第２のボックス除去モジュール３３０により、一つのオブジェクトに一つのボックスだけを残し、その他のボックスを削除するステップを実行できる（Ｓ３６）。ここで、第２のボックス除去モジュール３３０は、基準ボックス設定部３３１、集合ボックス設定部３３２、比較空間設定部３３３、及び錠剤係数比較によるボックス除去部３３４を含むことができ、このような構成により、次のようにステップＳ３６を実行できる（図６参照）。

【0073】

具体的に、ステップＳ３６は、基準ボックス設定部３３１により、残っているボックスのうち、任意のボックスを基準ボックスに設定するステップ（Ｓ３６１）と、集合ボックス設定部３３２により、基準ボックスと重なり合うボックスの集合である集合ボックスを設定するステップ（Ｓ３６２）と、比較空間設定部３３３により、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定するステップ（Ｓ３６３）と、錠剤係数比較によるボックス除去部３３４により、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去するステップ（Ｓ３６４）と、を含むことができる（図５参照）。

【0074】

図１０は、図６に示すステップＳ３６の理解を助けるために概念的に示す図である。

【0075】

図１乃至図１０を参照して、ステップＳ３６について例として説明すれば、次の通りである。

【0076】

第１のボックス除去モジュール３２０により、ステップＳ３４が実行される場合、密着されている錠剤に対し、錠剤よりも多い個数のボックスが形成（例えば、３個の錠剤に５個のボックス（Ｂ１～Ｂ５）が形成）されることができる。

【0077】

このとき、５個の残っているボックス（Ｂ１～Ｂ５）のうち、任意のボックスである第１のボックス（Ｂ１）を基準ボックスに設定し、第１のボックス（Ｂ１）と重なり合うボックスである第２のボックス（Ｂ２）、第４のボックス（Ｂ４）及び第５のボックス（Ｂ５）を集合ボックスに設定する。

【0078】

その後、第１のボックス（Ｂ１）が占める空間のうち、集合ボックス（Ｂ２、Ｂ４、Ｂ５）と重なり合う空間を除去し、残っている空間を比較空間（Ｃ）に設定する。

【0079】

その後、比較空間（Ｃ）及び基準ボックスである第１のボックス（Ｂ１）が占める空間の比率が、錠剤係数よりも大きいので（比較空間（Ｃ）／基準ボックス（Ｂ１）が占める空間＞錠剤係数）、基準ボックスに設定された第１のボックス（Ｂ１）は残っていることができる。

【0080】

ここで、錠剤係数は、オブジェクト（錠剤）が存在できる空間を示すものであって、オブジェクト（錠剤）の大きさ及び形状によって異なるように設定でき、錠剤係数は、０超過１未満（例えば、錠剤係数は０．８５）の値に設定できる。

【0081】

このような錠剤係数は、イメージ分析サーバー１０の錠剤係数判断モジュール３４０により設定できる。

【0082】

具体的に、オブジェクト（錠剤）の大きさ及び形状による錠剤係数は、データベース２１０に保存でき、ユーザ端末機２０からイメージ分析サーバー１０にオブジェクト（錠剤）を含むイメージが転送される場合、錠剤係数判断モジュール３４０は、オブジェクト（錠剤）の大きさ及び形状によってデータベース２１０に保存された錠剤係数をマッチングさせ、オブジェクトの種類によって錠剤係数を異なるように設定できる。概念的に、錠剤の大きさが大きくなるほど、錠剤係数は０及び１間で大きくなり得る。

【0083】

同様に、第４のボックス（Ｂ４）を基準ボックスに設定する場合、比較空間及び基準ボックスである第４のボックス（Ｂ４）が占める空間の比率は、錠剤係数よりも小さいので、基準ボックスに設定された第４のボックス（Ｂ４）は除去できる。

【0084】

このように、ステップＳ３６１乃至ステップＳ３６４を遂行する場合、密着されているオブジェクトがあっても、オブジェクトの個数及びボックスの個数を同一にすることできる。

【0085】

その後、イメージ分析サーバー１０により、残っているボックスをカウントし、ボックスに対応する個数をユーザ端末機２０に転送するステップ（Ｓ３）を実行できる。

【0086】

具体的に、イメージ分析サーバー１０のカウントモジュール３５０は、残っているボックスをカウントしてユーザ端末機２０に転送し、ユーザ端末機２０は、カウントした個数をディスプレイしたり、スピーカーを介してユーザに音声で伝達したりできる。

【0087】

また、イメージ分析サーバー１０により分析されたオブジェクトの種類及びカウントしたオブジェクトの個数は、マッチングされてデータベース２１０に保存でき、ユーザは、ユーザ端末機２０を介して、オブジェクトの種類及びカウントしたオブジェクトの個数に対する履歴を照会できる。

【0088】

このような過程により、ユーザが、数十個乃至数万個の錠剤に対し、イメージを撮影してイメージ分析サーバー１０に転送しさえすれば、錠剤の正確な個数をカウントしてユーザに報知されることで、薬屋や病院では、錠剤の在庫調査にかかる時間を低減できる。

【0089】

また、前述したプロセッサは、ユーザ端末機２０にアプリケーション形態に設置されたり、ウェブページに提供されたりでき、ユーザが、アプリケーションをダウンロードするか、或いは、ウェブページに接続してイメージをアップロードしさえすれば、イメージに含まれた錠剤の個数がユーザに自動的に伝達され得る。

【0090】

以下では、前述したイメージ分析サーバー１０の下位構成であるボックス設定モジュール３１０、第１のボックス除去モジュール３２０、第２のボックス除去モジュール３３０、錠剤係数判断モジュール３４０及びカウントモジュール３５０に関してより詳細に説明する。

【0091】

前述したように、ボックス設定モジュール３１０は、オブジェクト認識ディープラーニングモデルを実行して、各々のオブジェクトに対して複数個のボックスを形成できる。

【0092】

第１のボックス除去モジュール３２０は、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる。

【0093】

第２のボックス除去モジュール３３０は、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除できる。

【0094】

具体的に、第２のボックス除去モジュール３３０は、基準ボックス設定部３３１、集合ボックス設定部３３２、比較空間設定部３３３、及び錠剤係数比較によるボックス除去部３３４を含むことができる。

【0095】

基準ボックス設定部３３１は、残っているボックスのうち、任意のボックスを基準ボックスに設定できる。

【0096】

集合ボックス設定部３３２は、基準ボックスと重なり合うボックスの集合である集合ボックスを設定できる。

【0097】

比較空間設定部３３３は、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定できる。

【0098】

錠剤係数比較によるボックス除去部３３４は、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去できる。

【0099】

錠剤係数判断モジュール３４０は、イメージに表示されたオブジェクトの大きさ及び形状によって、データベース２１０に保存された錠剤係数をマッチングさせることができる。

【0100】

カウントモジュール３５０は、オブジェクトに対応する個数のボックスをカウントして、ユーザ端末機２０に転送できる。

【0101】

図１１は、図１のオブジェクトカウントシステム１を用いて、複数個のイメージをイメージ分析サーバー１０に転送し、複数個のイメージの各々に含まれた一つ以上のオブジェクトをカウントするフローチャートを概略的に示す図であり、図１２は、単一分析モード及びマルチ分析モードである場合、図１のユーザ端末機２０に表示される画面を示す図であり、図１３は、マルチ分析モードである場合、イメージ分析サーバー１０により分析が完了した複数個のイメージの各々に含まれたオブジェクトの個数及び種類が、図１のユーザ端末機２０の画面に表示される図である。

【0102】

前述した実施例のオブジェクトカウントシステム１では、ユーザ端末機２０を介して、一つのイメージをイメージ分析サーバー１０に転送し、一つのイメージに含まれた複数個のオブジェクトがイメージ分析サーバー１０により分析されることを例として説明したが、以下では、複数個のイメージをイメージ分析サーバー１０に転送し、複数個のイメージの各々に含まれた複数個のオブジェクトを分析する実施例に対するオブジェクトカウントシステム１について説明する。

【0103】

イメージ分析サーバーを用いた複数個のイメージに含まれたオブジェクトのカウント方法の説明に先立って、図１２及び図１３を参照して、ユーザ端末機２０の画面を説明すれば、次の通りである。

【0104】

ユーザ端末機２０の画面は、イメージ拡大部１１１、単一分析ボタン１１２、マルチ分析ボタン１１３、イメージ入力ボタン１１４、マルチ分析窓１１５、種類表示部１１８及びトータル個数表示部１１９を含むことができる。

【0105】

イメージ拡大部１１１には、ユーザ端末機２０による撮影中又は撮影済のイメージが表示されることができる。

【0106】

マルチ分析窓１１５には、ユーザ端末機２０により撮影された複数個のイメージが表示されることができ、イメージ分析サーバー１０により分析されたイメージの各々に対するオブジェクトの個数が表示されることができる。

【0107】

また、マルチ分析窓１１５は、各々のイメージを選択できるイメージ選択窓１１５ａと、イメージ分析サーバー１０により分析が完了された各々のイメージの個数を表示できる個数表示部１１５ｂとを提供できる。また、マルチ分析窓１１５は、各々のイメージを削除できる削除ボタン１１６を提供できる。

【0108】

種類表示部１１８は、イメージ選択窓１１５ａにより選択されたイメージが含むオブジェクトの種類を表示できる。

【0109】

トータル個数表示部１１９は、マルチ分析窓１１５に表示された複数個のイメージの全てに含まれたオブジェクトの和を表示できる。

【0110】

図１１乃至図１３を参照すれば、イメージ分析サーバーを用いた複数個のイメージに含まれたオブジェクトのカウント方法は、ユーザ端末機２０により、一つのイメージが入力される単一分析モード、または、複数個のイメージが入力されるマルチ分析モードが選択されるステップ（Ｓ１０）と、マルチ分析モードが選択される場合、ユーザ端末機２０により、一つ以上のオブジェクトを含む複数個のイメージが入力され、入力された複数個のイメージがイメージ分析サーバー１０に転送されるステップ（Ｓ２０）と、イメージ分析サーバー１０により、複数個のイメージの各々が含むオブジェクトの個数がカウントされるステップ（Ｓ３０）と、ユーザ端末機２０により、複数個のイメージの各々が含むオブジェクトの個数が表示されるステップ（Ｓ４０）と、を含むことができる。

【0111】

まず、ユーザ端末機２０により、一つのイメージが入力される単一分析モード、または、複数個のイメージが入力されるマルチ分析モードが選択されるステップ（Ｓ１０）について具体的に説明すれば、次の通りである。

【0112】

ユーザは、ユーザ端末機２０を介して、単一分析モードまたはマルチ分析モードを選択できる。

【0113】

具体的に、ユーザは、ユーザ端末機２０の画面に表示された単一分析ボタン１１２のタッチまたはクリックにより、単一分析モードを実行させることができ、マルチ分析ボタン１１３のタッチまたはクリックにより、マルチ分析モードを実行させることができる。

【0114】

ここで、単一分析モードが選択される場合、ユーザ端末機２０を介して一つのイメージだけが撮影され、一つのイメージがイメージ分析サーバー１０に転送されて、一つのイメージだけが分析されると理解できる。

【0115】

また、マルチ分析モードが選択される場合、ユーザ端末機２０を介して、複数個のイメージが撮影され、複数個のイメージがイメージ分析サーバー１０に転送されて、複数個のイメージの全てが分析されると理解できる。

【0116】

また、マルチ分析モードが選択される場合、ユーザ端末機２０には、撮影するイメージの数を選択できる入力窓（図示せず）が提供され、このとき、ユーザが選択するイメージの数だけイメージを撮影して生成できる。

【0117】

例えば、Ａ患者に５種の錠剤を提供する場合、ユーザは、入力窓に５を入力でき、５個のイメージが入力される場合、５個のイメージはイメージ分析サーバー１０に転送され得る。

【0118】

次に、マルチ分析モードが選択される場合、ユーザ端末機２０を介して、一つ以上のオブジェクトを含む複数個のイメージが入力され、入力された複数個のイメージがイメージ分析サーバー１０に転送されるステップ（Ｓ２０）について具体的に説明すれば、次の通りである。

【0119】

ユーザがマルチ分析モードを選択する場合、ユーザ端末機２０の画面上にはマルチ分析窓１１５が活性化し、撮影された複数個のイメージはマルチ分析窓１１５に表示され得る。

【0120】

ユーザは、マルチ分析窓１１５に表示された複数個のイメージを編集できる。例えば、ユーザは、マルチ分析窓１１５の削除ボタン１１６のタッチまたはクリックにより、分析を所望しないイメージを削除できる。

【0121】

ユーザ端末機２０を介して、一つ以上の錠剤を含む複数個のイメージが入力（撮影）される場合、ユーザは、ユーザ端末機２０を介して、イメージに表示された錠剤の種類を入力できる。ただし、本発明の思想は、これに限定されず、錠剤の種類は後述するマルチ分析補助機構６０及び／又はイメージ分析サーバー１０などにより、自動的に把握されることもできる。これに関する詳細な説明は後述する。

【0122】

このように入力された複数個のイメージは、イメージ分析サーバー１０に転送され得る。

【0123】

次に、イメージ分析サーバー１０により、複数個のイメージの各々が含むオブジェクトの個数がカウントされるステップ（Ｓ３０）について説明する。

【0124】

具体的に、ステップＳ３０は、イメージ分析サーバー１０により複数個のイメージの各々が含む各々のオブジェクトに対して複数個のボックスを形成し、各々のイメージに形成された複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップと、イメージ分析サーバー１０により、複数個のイメージの各々に残っているボックスの個数をカウントし、複数個のイメージの各々に残っているボックスに対応する個数をユーザ端末機２０に転送するステップと、を含むことができる。

【0125】

ここで、各々のイメージに含まれたオブジェクトのカウント方法は、前述したステップＳ２及びステップＳ３と同様であるので、これに関する詳細な説明は省略する。

【0126】

次に、ユーザ端末機２０により、複数個のイメージの各々が含むオブジェクトの個数が表示されるステップ（Ｓ４０）について説明する。

【0127】

具体的に、ステップＳ４０は、ユーザ端末機２０のマルチ分析窓１１５に複数個のイメージが表示されるステップと、ユーザ端末機２０のマルチ分析窓１１５に複数個のイメージの各々が含むオブジェクトの個数が表示されるステップと、ユーザ端末機２０の種類表示部１１８に複数個のイメージの各々が含むオブジェクトの種類が表示されるステップと、ユーザ端末機２０のトータル個数表示部１１９に複数個のイメージの全てに含まれたオブジェクトの和が表示されるステップと、を含むことができる（図１３参照）。

【0128】

例えば、マルチ分析窓１１５には、４個のイメージが表示され、各々のイメージの一側（例えば、下段）には錠剤の個数が表示される。

【0129】

また、マルチ分析窓１１５の一側には種類表示部１１８が提供され、種類表示部１１８には選択されたイメージの種類（例えば、ネキシウム錠）が表示され得る。このとき、マルチ分析窓１１５に表示された複数個のイメージのうち、選択されたイメージは非選択されたイメージと異なる色相で表示できる。

【0130】

一方、本実施例のオブジェクトカウントシステム１は、前述したステップＳ１０のマルチ分析モードにおいて、複数個のイメージを入力するためのマルチ分析補助機構６０及び移動ベルト７０をさらに含むことができる。

【0131】

図１４は、図１のユーザ端末機２０が定着されるマルチ分析補助機構６０を概略的に示す図であり、図１５は、マルチ分析モードを容易に実施するための図１４のマルチ分析補助機構６０及び移動ベルト７０を概略的に示す図である。

【0132】

図１４及び図１５を参照すれば、本実施例のオブジェクトカウントシステム１は、マルチ分析モードを容易に実施するためのマルチ分析補助機構６０及び移動ベルト７０をさらに含むことができる。

【0133】

マルチ分析補助機構６０は、ユーザ端末機２０が定着される機構として理解でき、移動ベルト７０は、複数個のオブジェクトプレート５０を移動させることができる装置として理解できる。

【0134】

図１４及び図１５に示すマルチ分析補助機構６０及び移動ベルト７０が提供される場合、ステップＳ２０において、前述したユーザ端末機２０により、一つ以上のオブジェクトを含む複数個のイメージが入力されるステップを容易に実現できる。

【0135】

具体的に、ユーザ端末機２０により、一つ以上のオブジェクトを含む複数個のイメージが入力されるステップは、ユーザ端末機２０をマルチ分析補助機構６０の端末機定着部６７に定着させるステップと、オブジェクトが載置された複数個のオブジェクトプレート５０を移動ベルト７０に定着させるステップと、移動ベルト７０の移動によって、複数個のオブジェクトプレート５０が順次ユーザ端末機２０の下段に位置するステップと、各々のオブジェクトプレート５０がユーザ端末機２０の下段に一定時間停留した後に移動することで、複数個のオブジェクトプレート５０がユーザ端末機２０の下段を移動し、ユーザ端末機２０が各々のオブジェクトプレート５０に載置されたオブジェクトを撮影して、複数個のイメージを生成するステップと、を含むことができる。

【0136】

また、前述した実施例では、同一の種類のオブジェクトの個数だけカウントする実施例について述べたが、種類識別子５２を含むオブジェクトプレート５０を用いる場合、オブジェクトカウントシステム１は、互いに異なる種類のオブジェクトを判断することもできる。

【0137】

具体的に、オブジェクトプレート５０の一側には、文字、バーコード及び一定の記号の一つ以上に提供される種類識別子５２が提供され得る。このような種類識別子５２により、オブジェクト（錠剤）の種類を判別できる。

【0138】

例えば、ユーザは、オブジェクトプレート５０に付着された種類識別子５２により、互いに異なる種類の錠剤をオブジェクトプレート５０に載置でき、ユーザ端末機２０は、オブジェクトプレート５０の種類識別子５２を撮影して、種類識別子５２及びオブジェクトを共に含むイメージを生成するか、または、オブジェクトを含むイメージ及び種類識別子５２を含むイメージを各々生成して、イメージ分析サーバー１０により種類識別子５２及びオブジェクトをマッチングさせて分析することで、オブジェクトの種類及び個数を判断できる。このとき、イメージ分析サーバー１０のプロセッサ３００は、種類識別子５２を判別できる種類判断モジュール３６０をさらに含むことができる。

【0139】

このとき、前述したイメージ分析サーバー１０により、複数個のイメージの各々が含むオブジェクトの個数がカウントされるステップ（Ｓ３０）の以後に、イメージ分析サーバー１０の種類判断モジュール３６０により、オブジェクト及び種類識別子５２がマッチングされて、オブジェクトの種類が判断されるステップと、ユーザ端末機２０により、複数個のイメージの各々が含むオブジェクトの個数及び種類が表示されるステップと、を実行できる。

【0140】

具体的に、種類識別子５２によるオブジェクトの種類に対するデータは、データベース２１０に保存され、種類判断モジュール３６０は、データベース２１０に保存されたオブジェクトの種類に対するデータを受信して、オブジェクトの種類を判断できる。

【0141】

例えば、種類識別子５２が記号１２３４として提供され、データベース２１０には記号１２３４に対応するオブジェクトの種類がネキシウム錠として保存されている場合、ユーザは、記号１２３４が表示されたオブジェクトプレート５０にネキシウム錠を載置することで、イメージ分析サーバー１０により別途の面倒な作業無しに容易にオブジェクトの種類を認識できる。

【0142】

以下では、前述したオブジェクトの種類を判断できる物理的な装置に関してより詳細に説明する。

【0143】

本発明の一実施例に係るオブジェクトカウントシステム１は、オブジェクトを載置できる空間を提供し、文字、バーコード及び一定の記号の一つ以上に提供される種類識別子５２を含むオブジェクトプレート５０と、オブジェクトプレート５０を撮影して、オブジェクトプレート５０に載置された一つ以上のオブジェクトを含むイメージ及び種類識別子５２を含むイメージを生成できるユーザ端末機２０と、イメージに含まれたオブジェクトの個数及びオブジェクトの種類を判断できるイメージ分析サーバー１０と、を含むことができる。ここで、オブジェクト及び種類識別子５２は、一つのイメージとして撮影されることもでき、別個のイメージとして撮影されることもできる。

【0144】

オブジェクトプレート５０は、オブジェクトを載置できる平坦な定着部５５と、定着部５５の外側に配置され、文字、バーコード及び一定の記号の一つ以上に提供される種類識別子５２と、を含むことができる。

【0145】

また、オブジェクトカウントシステム１は、オブジェクトプレート５０に対して既定の距離をおいて離隔して、ユーザ端末機２０を載置できる端末機定着部６７が含まれたマルチ分析補助機構６０をさらに含むことができる。

【0146】

マルチ分析補助機構６０は、オブジェクトプレート５０が移動する下段部６２と、ユーザ端末機２０を載置できる端末機定着部６７を含む上面部６６と、下段部６２及び上面部６６を連結する側面部６４と、を含むことができる。ここで、側面部６４の高さは、オブジェクトプレート５０及びユーザ端末機２０が離隔している距離として理解でき、側面部６４は、高さ調節可能に提供できる。

【0147】

このようなマルチ分析補助機構６０を用いる場合、ユーザ端末機２０を端末機定着部６７に載置し、オブジェクトを撮影してイメージを生成できるので、オブジェクトプレート５０に載置されたオブジェクトのイメージを容易に撮影できる。

【0148】

また、マルチ分析補助機構６０は、オブジェクトプレート５０に載置されたオブジェクトの重なり合いを判断できるセンサー６９を含むことができる。

【0149】

例えば、センサー６９はマルチ分析補助機構６０の側面部６４に提供され、オブジェクトプレート５０はセンサー６９の前面を通過し、センサー６９はオブジェクトプレート５０の移動によってオブジェクトプレート５０に載置されたオブジェクトの高さをスキャンできる。ここで、オブジェクトの高さは、オブジェクトプレート５０の定着部５５から垂直方向で測定した距離として理解できる。

【0150】

すなわち、ユーザ端末機２０により撮影されたイメージは、オブジェクトの一側面（上面）を撮影すると理解でき、マルチ分析補助機構６０に付着されたセンサー６９は、オブジェクトの他の面（側面）をスキャンすると理解できる。

【0151】

オブジェクトプレート５０がセンサー６９の前面を通過すれば、センサー６９は、オブジェクトプレート５０に載置された全てのオブジェクトをスキャンでき、オブジェクトプレート５０に載置されたオブジェクトのうち、一定の範囲を超過するオブジェクトがスキャンされる場合、ユーザに報知できる。

【0152】

このとき、マルチ分析補助機構６０には、センサー６９と連結されたスピーカー（図示せず）が提供され、警告音により報知するか、または、センサー６９からユーザ端末機２０に信号を転送して、ユーザ端末機２０を介してユーザに警告音または警告表示が可能である。

【0153】

このとき、ユーザは、オブジェクトプレート５０に載置されたオブジェクトを点検することで、再度、オブジェクトが重なり合わないように載置できる。

【0154】

また、オブジェクトカウントシステム１は、複数個のオブジェクトプレート５０が定着し、複数個のオブジェクトプレート５０をユーザ端末機２０の下段に移動させる移動ベルト７０をさらに含むことができる。

【0155】

ここで、移動ベルト７０は、閉曲線をなすように提供できる。このとき、閉曲線をなす移動ベルト７０に複数個のオブジェクトプレート５０を載置することで、多数のオブジェクトプレート５０を活用して錠剤の個数をカウントできる。

【0156】

また、複数個のオブジェクトプレート５０が提供される場合、複数個のオブジェクトプレート５０の定着部５５の色相は、互いに異なるように提供できる。

【0157】

例えば、赤色系列のオブジェクトが載置されるオブジェクトプレート５０は緑色系列として提供でき、白色系列のオブジェクトが載置されるオブジェクトプレート５０の定着部５５の色相は黒色系列として提供できる。このとき、イメージ分析サーバー１０は、オブジェクトと背景色を区分して、より容易にオブジェクトを認識できる。

【0158】

以上、本発明の実施例に係るイメージ分析サーバー１０、これを含むオブジェクトカウントシステム１、イメージ分析サーバーを用いたオブジェクトカウント方法、及びイメージ分析サーバーを用いた複数個のイメージに含まれたオブジェクトのカウント方法を具体的な実施例として説明したが、これは例示に過ぎず、本発明はこれに限定されず、本明細書に開示された基礎思想に係る最広の範囲を有するものと解析しなければならない。当業者は、開示された実施例を組合せ、置換して摘示されない実施例を実施できるが、これも、本発明の権利範囲から逸脱しないものである。この他にも、当業者は、本明細書に基づいて開示された実施例を容易に変更または変形でき、このような変更または変形も、本発明の権利範囲に属することは明白である。

【産業上の利用可能性】

【0159】

イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムは、錠剤の個数のカウントに用いられるものであって、産業上の利用可能性がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】