特許 7558586 物品検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-20

(45)【発行日】2024-10-01

(54)【発明の名称】物品検出システム

(51)【国際特許分類】

   G06V 30/412 20220101AFI20240924BHJP

   G06V 30/14 20220101ALI20240924BHJP

【ＦＩ】

G06V30/412

G06V30/14 340K

【請求項の数】 2

(21)【出願番号】P 2023052865

(22)【出願日】2023-03-29

【審査請求日】2023-12-05

(73)【特許権者】

【識別番号】520466401

【氏名又は名称】ＮｅｏＸ株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】何 書勉

(72)【発明者】

【氏名】趙 文瑞

(72)【発明者】

【氏名】李 庚

(72)【発明者】

【氏名】劉 岩

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２３－６９８１３（ＪＰ，Ａ）

【文献】特開２０２１－５１０４４（ＪＰ，Ａ）

【文献】特開２０２３－２６３４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／４１２

Ｇ０６Ｖ ３０／１４

(57)【特許請求の範囲】

【請求項1】

物品に表示された表示ラベルを撮影するカメラと、前記カメラで撮影された画像データに基づいて前記物品を特定する物品検出装置と、前記物品に関する情報を表示する情報端末と、を有する物品検出システムにおいて、
前記カメラは、前記物品に表示された表示ラベルを撮影して、その撮影した画像データをリアルタイムに前記物品検出装置に送信し、
前記物品検出装置は、
前記物品を識別するための特徴量として物品毎に固有の物品情報が登録された物品情報ＤＢと、
前記カメラで撮影された前記物品の画像データを取得する画像データ取得部と、
前記画像データ取得部で取得した画像データのレイアウトを解析し、前記画像データからｍ個（ｍ≧１）の文字領域を抽出するレイアウト解析部と、
前記レイアウト解析部で抽出したｍ個の文字領域に含まれる文字を認識し、その認識した文字のテキストデータＴｍを生成するＯＣＲ処理部と、
前記レイアウト解析部で抽出したｍ個の文字領域毎に、該文字領域に含まれる文字のサイズを検出し、ｍ個の文字領域毎に文字の相対的な大きさを識別する文字サイズ識別部と、
前記文字サイズ識別部でｍ個の文字領域毎に識別した文字の相対的な大きさを参照して、文字の相対的な大きさ順に前記テキストデータＴｍと前記物品情報ＤＢに登録された特徴量とを照合する処理を繰り返し実行して前記物品を特定する物品検出部と、
前記物品検出部で特定した前記物品に関する情報を、予め決められた情報端末へ送信する情報送信部と、
を備えたことを特徴とする物品検出システム。

【請求項2】

請求項１に記載の物品検出システムであって、前記物品検出装置において、
前記物品情報ＤＢには、前記物品を識別するための特徴量として、物品毎の物品情報としてｎ個（ｎ≧１）の特徴量が登録され、
前記物品検出部は、
前記文字サイズ識別部でｍ個の文字領域毎に識別した文字の相対的な大きさを参照して、文字の相対的な大きさ順に前記テキストデータＴｍと前記物品情報ＤＢに登録された物品毎のｎ個の特徴量とを照合する処理を繰り返し実行し、前記テキストデータＴｍのいずれかと合致する特徴量が存在する場合に、該特徴量として前記物品情報ＤＢに登録されている物品を、前記物品として特定することを特徴とする物品検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮影した画像情報を用いて物品を特定する技術に関する。

【背景技術】

【0002】

従来から、カメラで撮影した画像情報を用いて倉庫内の物品管理を行う技術が開示されている。例えば、特許文献１では、置場に置かれていてバーコードの付されている物品を撮像するカメラ１と、カメラ１で撮像されたバーコードの情報に基づいて置場における物品の在庫状態を管理する在庫管理処理装置２と、を有する入出庫管理システムが開示されている。在庫管理処理装置２は、物品に付されたバーコードを撮像するカメラ１を制御し、カメラ１で撮像された画像からバーコードの特徴量に基づいてバーコード画像を抽出し、抽出したバーコード画像の情報を読取り、バーコードの置場内での位置を検出し、それらの情報に基づいて、在庫管理データを更新する。これにより置場内に置かれる物品の入出庫状態を安価に管理することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１５０４６０

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術においては、物品に付されたバーコードが必須条件となり、バーコードが付されていない物品を管理することができないという問題がある。

【0005】

本発明の目的は、カメラで撮影した物品の表示ラベルの画像情報を用いて当該物品を自動的に特定する物品検出システムを提供することにある。

【課題を解決するための手段】

【0006】

上記の目的を達成するために、第１発明に係る物品検出システムは、
物品に表示された表示ラベルを撮影するカメラと、前記カメラで撮影された画像データに基づいて前記物品を特定する物品検出装置と、前記物品に関する情報を表示する情報端末と、を有する物品検出システムにおいて、
前記カメラは、前記物品に表示された表示ラベルを撮影して、その撮影した画像データをリアルタイムに前記物品検出装置に送信し、
前記物品検出装置は、
前記物品を識別するための特徴量として物品毎に固有の物品情報が登録された物品情報ＤＢと、
前記カメラで撮影された前記物品の画像データを取得する画像データ取得部と、
前記画像データ取得部で取得した画像データのレイアウトを解析し、前記画像データからｍ個（ｍ≧１）の文字領域を抽出するレイアウト解析部と、
前記レイアウト解析部で抽出したｍ個の文字領域に含まれる文字を認識し、その認識した文字のテキストデータＴｍを生成するＯＣＲ処理部と、
前記レイアウト解析部で抽出したｍ個の文字領域毎に、該文字領域に含まれる文字のサイズを検出し、ｍ個の文字領域毎に文字の相対的な大きさを識別する文字サイズ識別部と、
前記文字サイズ識別部でｍ個の文字領域毎に識別した文字の相対的な大きさを参照して、文字の相対的な大きさ順に前記テキストデータＴｍと前記物品情報ＤＢに登録された特徴量とを照合する処理を繰り返し実行して前記物品を特定する物品検出部と、
前記物品検出部で特定した前記物品に関する情報を、予め決められた情報端末へ送信する情報送信部と、
を備えたことを特徴とする。

【0007】

第２発明に係る物品検出システムは、第１発明において、
前記物品情報ＤＢには、前記物品を識別するための特徴量として、物品毎の物品情報としてｎ個（ｎ≧１）の特徴量が登録され、
前記物品検出部は、
前記文字サイズ識別部でｍ個の文字領域毎に識別した文字の相対的な大きさを参照して、文字の相対的な大きさ順に前記テキストデータＴｍと前記物品情報ＤＢに登録された物品毎のｎ個の特徴量とを照合する処理を繰り返し実行し、前記テキストデータＴｍのいずれかと合致する特徴量が存在する場合に、該特徴量として前記物品情報ＤＢに登録されている物品を、前記物品として特定することを特徴とする。

【発明の効果】

【0008】

本発明によれば、物品に表示された表示ラベルをカメラで撮影すると、その画像情報に基づいて当該物品を自動的に検出することが可能になり、さらに当該物品に関する情報が予め決められた情報端末に表示されるようになり、当該物品に関する情報を容易に確認することが可能になる。さらに当該物品に関する情報を自動的にＰＣ入力することが可能になり、従来手作業で入力していた手間を省き、同時にヒューマンエラーの解消にも効果が期待できる。

【0009】

さらに、物品が医薬品を含む医療用物品の場合には、薬剤に関する情報、例えばPMDA(Pharmaceuticals and Medical Devices Agency)に登録された医薬品等添付文書情報を容易に確認することができるようになる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る物品検出システムを説明するシステム構成図の一例を示した模式図である。

【図2】本発明の実施形態に係る物品検出システムにおける物品検出装置の機能構成を示した機能ブロック図である。

【図3】本発明の実施形態に係る物品検出システムにおいて、物品検出装置で実行される処理を示したフローチャート図である。

【図4】本発明の実施形態に係る物品検出システムにおいて、文字領域に含まれる文字から、文字の相対的な大きさ順にテキストデータを示した模式図である。

【図5】本発明の実施形態に係る物品情報ＤＢのデータ構成例を示した図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について図面を参照して詳細に説明する。なお、本発明は、以下に述べる実施形態により限定されるものではない。

【0012】

図１は、本発明の実施形態に係る物品検出システムについて、システム構成図の一例を示したものである。

【0013】

図１に示すように、物品検出システム１は、物品２に表示された表示ラベルを撮影するカメラ３と、カメラ３で撮影された画像データに基づいて物品２を特定する物品検出装置１０と、物品２に関する情報を表示する情報端末４と、を有している。カメラ３は、物品２に表示された表示ラベルを撮影して、その撮影した画像データをリアルタイムに物品検出装置１０に送信し、物品検出装置１０では、カメラ３から送信された画像データを基に物品情報ＤＢと照合して物品２を特定し、物品２に関する情報を情報端末４へ送信する構成としている。

【0014】

本実施形態においては、手動で物品２に表示された表示ラベルをカメラ３で撮影することを想定しているが、例えばセンサーと連動したカメラを用いて、自動的に物品２をカメラ３で撮影するような構成としてもよい。

【0015】

物品検出装置１０は、サーバ装置、および物品情報ＤＢ２０を有している。サーバ装置は一般的なコンピュータであり、インターネット等のネットワーク５を介してカメラ３から画像データを受け取るために通信制御を行う機能を有しており、また物品情報ＤＢ２０は、不揮発性記憶素子で構成される記憶装置である。

【0016】

物品検出装置１０では、カメラ３から受け取った物品２に表示された表示ラベルの画像データと物品情報ＤＢ２０とを照合して物品２を特定し、物品２に関する情報を情報端末４へ送信する。本システムでは、カメラ３で撮影された画像データから物品２に関する情報を容易に確認することが可能になり、さらに物品２に関する情報を自動的にＰＣ入力することが可能になり、従来手作業で入力していた手間を省き、同時にヒューマンエラーの解消も可能としている。

【0017】

なお図１に示したシステムでは、カメラ３は画像データを外部へ送信する通信手段を有しており、撮影された画像データがインターネット等のネットワーク５を経由して物品検出装置１０へ送信される構成としているが、ネットワーク５を経由せずにカメラ３と物品検出装置１０が直接接続される構成としてもよい。

【0018】

次に、図２に示す機能ブロック図を用いて物品検出装置１０の機能構成について説明する。図２に示すように、物品検出装置１０は、画像データ取得部１１、レイアウト解析部１２、ＯＣＲ処理部１３、文字サイズ識別部１４、物品検出部１５、情報送信部１６、医薬品情報取得部１７、物品情報ＤＢ２０、および医薬品情報ＤＢ３０を備えている。

【0019】

物品情報ＤＢ２０は、物品２を識別するための特徴量として物品毎に固有の物品情報が登録されており、物物品毎の物品情報としてｎ個（ｎ≧１）の特徴量が登録されている。

【0020】

医薬品情報ＤＢ３０は、各種の医薬品の名称と、医薬品に関する情報とが関連付けて登録されている。

【0021】

画像データ取得部１１は、カメラ３で撮影された物品２に表示された表示ラベルの画像データを取得する。

【0022】

レイアウト解析部１２は、画像データ取得部１１で取得した画像データのレイアウトを解析し、その画像データから文字が含まれるｍ個（ｍ≧１）の文字領域を抽出する。

【0023】

ＯＣＲ処理部１３は、レイアウト解析部１２で抽出したｍ個の文字領域に含まれる文字を認識し、その認識した文字のテキストデータＴｍを生成する。ここでは、例えばＯＣＲ（Optical Character Recognition）プログラムを稼働させて、レイアウト解析部１２で抽出した文字領域に含まれる文字情報を読み取るように構成されている。また機械学習機能を備えることにより文字情報の検出精度を向上している。

【0024】

文字サイズ識別部１４は、レイアウト解析部１２で抽出したｍ個の文字領域毎に、該文字領域に含まれる文字のサイズを認識し、該文字領域毎に文字の相対的な大きさを識別する。

【0025】

物品検出部１５は、文字サイズ識別部１４でｍ個の文字領域毎に識別した文字の相対的な大きさを参照して、文字の相対的な大きさ順に前記テキストデータＴｍと前記物品情報ＤＢ２０に登録された特徴量とを照合する処理を繰り返し実行して前記物品を特定する。

【0026】

例えば、レイアウト解析部１２でｍ個（m≧１）の文字領域を抽出した場合に、ＯＣＲ処理部１３ではｍ個のテキストデータを生成し、文字サイズ識別部１４ではｍ個の文字領域毎に、該文字領域に含まれる文字のサイズを認識し、該文字領域毎に文字の相対的な大きさを識別し、物品検出部１５では文字の相対的な大きさ順に前記テキストデータＴｍと前記物品情報ＤＢに登録された物品毎の第１特徴量とを照合する処理を繰り返し実行し、前記テキストデータＴｍのいずれかと合致する第１特徴量が存在する場合に、第１特徴量として前記物品情報ＤＢに登録されている物品を、前記物品として特定する。

【0027】

さらに、物品検出部１５では、前記テキストデータＴｍのいずれかと合致する第ｎ特徴量が２個以上存在する場合に、例えば、第ｎ特徴量として前記物品情報ＤＢに登録されている複数の物品について、文字の相対的な大きさ順に前記テキストデータＴｍと前記物品情報ＤＢに登録された物品毎の第ｎ+1特徴量とを照合する処理を繰り返し実行し、前記テキストデータＴｍのいずれかと合致する第ｎ+1特徴量が存在する場合に、第ｎ+1特徴量として前記物品情報ＤＢに登録されている物品を、前記物品として特定する。

【0028】

情報送信部１６は、物品検出部１５で特定した物品２に関する情報を、予め決められた情報端末４へ送信する。

【0029】

医薬品情報取得部１７は、物品検出部１５で検出された物品２が医薬品を含む医療用物品の場合には、物品検出部１５で検出された前記医薬品の名称に基づいて、予め各種の医薬品に関する情報が登録されている医薬品情報ＤＢ３０から前記医薬品の情報を取得する。ここで取得した医薬品の情報については、予め指定された端末４に送信されるように構成してもよい。

【0030】

さらに医薬品情報取得部１７は、前記医薬品の名称に基づいて、例えばインターネット上に公開されているPMDA(Pharmaceuticals and Medical Devices Agency)医薬品等添付文書情報を取得するように構成することも可能である。

【0031】

なお本実施形態において、上記で説明した物品検出部１５は、前記物品情報ＤＢ２０に登録された物品情報の特徴量を参照して物品２を特定するようにしているが、この方法に限定されず、例えば、ニューラルネットワークによる機械学習を用いてもよい。具体例として、物品検出部１５は、一定の傾向やパターンを機械的に認識することによりクラスタリングやラベリングを行って予め作成された学習モデルに基づいて物品２を特定するようにしてもよい。

【0032】

次に、図３に示すフローチャート図を用いて、本システムの実行するプロセスについて説明する。

【0033】

図３は、物品検出装置１０で実行される処理を示したフローチャート図である。

【0034】

ステップＳ１０において、カメラ３で撮影された物品２に表示された表示ラベルの画像データを取得する。

【0035】

次にステップＳ２０において、ステップＳ１０で取得した画像データのレイアウトを解析し、その画像データから文字が含まれるｍ個（ｍ≧１）の文字領域を抽出する。

【0036】

次にステップＳ３０において、ステップＳ２０で抽出したｍ個の文字領域に含まれる文字を認識し、その認識した文字のテキストデータＴｍを生成する。

【0037】

次にステップＳ４０において、ステップＳ３０で抽出したｍ個の文字領域毎に、該文字領域に含まれる文字のサイズを認識し、該文字領域毎に文字の相対的な大きさを識別する。

【0038】

例えば図４の例では、画像データから３個の文字領域を抽出し、３個のテキストデータを生成し、文字の相対的な大きさ順にテキストデータＴ１、Ｔ２、Ｔ３を識別するようにしている。

【0039】

次にステップＳ５０において、ステップＳ４０でｍ個の文字領域毎に識別した文字の相対的な大きさを参照して、文字の相対的な大きさ順に前記テキストデータＴｍと物品情報ＤＢ２０に登録された特徴量とを照合する処理を繰り返し実行して物品２を特定する。

【0040】

例えば、ステップＳ３０において３個のテキストデータを生成して、ステップＳ４０において文字の相対的な大きさ順にテキストデータＴ１、Ｔ２、Ｔ３を識別した場合、ステップＳ５０においては次のような手順により物品２を特定する処理を実行する。

【0041】

＜手順１＞
テキストデータＴ１と物品情報ＤＢ２０に登録された物品毎の第１特徴量とを照合する処理を繰り返し実行し、テキストデータＴ１と合致する第１特徴量が１個だけ存在する場合に、該第１特徴量として物品情報ＤＢ２０に登録されている物品を、物品２として特定する。
＜手順２＞
テキストデータＴ１と合致する第１特徴量が２個以上存在する場合に、該第１特徴量として物品情報ＤＢに登録されている複数の物品について、テキストデータＴ２（又はテキストデータＴ３）と物品情報ＤＢ２０に登録された物品毎の第２特徴量とを照合する処理を繰り返し実行し、テキストデータＴ２（又はテキストデータＴ３）と合致する第２特徴量が１個だけ存在する場合に、該第２特徴量として物品情報ＤＢ２０に登録されている物品を、物品２として特定する。
＜手順３＞
テキストデータＴ２（又はテキストデータＴ３）と合致する第２特徴量が２個以上存在する場合に、該第２特徴量として物品情報ＤＢに登録されている複数の物品について、テキストデータＴ２（又はテキストデータＴ３）と物品情報ＤＢ２０に登録された物品毎の第３特徴量とを照合する処理を繰り返し実行し、テキストデータＴ２（又はテキストデータＴ３）と合致する第３特徴量が１個だけ存在する場合に、該第３特徴量として物品情報ＤＢ２０に登録されている物品を、物品２として特定する。

【0042】

なお＜手順３＞において、テキストデータＴ２（又はテキストデータＴ３）と合致する第３特徴量が存在しない場合には、「NOT FOUND」としてステップＳ５０の処理を終了する。

【0043】

また＜手順１＞において、テキストデータＴ１と物品情報ＤＢ２０に登録された物品毎の第１特徴量とを照合する処理を繰り返し実行し、テキストデータＴ１と合致する第１特徴量が存在しない場合には、「NOT FOUND」としてステップＳ５０の処理を終了する。

【0044】

あるいは、＜手順１＞において「NOT FOUND」としてステップＳ５０の処理を終了せずに、テキストデータＴ１とテキストデータＴ２を置き換えて、またはテキストデータＴ１とテキストデータＴ３を置き換えて、＜手順１＞から＜手順３＞の処理を実行するようにしてもよい。

【0045】

次にステップＳ５０の処理について、図５に示した物品情報ＤＢ２０のデータ構成例を用いて説明する。図５の例では、物品２を識別するための特徴量として物品毎に固有の物品情報が登録されており、第１特徴量として「物品名称」、第２特徴量として「メーカー名」、第３特徴量として「規格」、が登録されている。

【0046】

例えば、ステップＳ３０において３個のテキストデータを生成して、ステップＳ４０において文字の相対的な大きさ順にテキストデータＴ１、Ｔ２、Ｔ３を識別した場合、ステップＳ５０においては次のような手順により物品を特定する処理を実行する。

【0047】

＜手順１＞
テキストデータＴ１と物品情報ＤＢ２０の第１特徴量「物品名称」とを照合する処理を繰り返し実行し、テキストデータＴ１と合致する「物品名称」が１個だけ存在する場合に、該「物品名称」の物品を、物品２として特定する。例えば、テキストデータＴ１と「物品名称：Ｎ１」が合致した場合には、「物品Ａ」として特定する。
＜手順２＞
テキストデータＴ１と合致する第１特徴量「物品名称」が２個以上存在する場合に、該「物品名称」として物品情報ＤＢに登録されている複数の物品について、テキストデータＴ２（又はテキストデータＴ３）と物品情報ＤＢ２０の第２特徴量「メーカー名」とを照合する処理を繰り返し実行し、テキストデータＴ２（又はテキストデータＴ３）と合致する「メーカー名」が１個だけ存在する場合に、該「メーカー名」の物品を、物品２として特定する。例えば、テキストデータＴ１と「物品名称：Ｎ２」が合致し、さらにテキストデータＴ２（又はテキストデータＴ３）と「メーカー名：Ｍ２」が合致した場合には、「物品Ｂ」として特定する。
＜手順３＞
テキストデータＴ２（又はテキストデータＴ３）と合致する第２特徴量「メーカー名」が２個以上存在する場合に、該「メーカー名」として物品情報ＤＢに登録されている複数の物品について、テキストデータＴ２（又はテキストデータＴ３）と物品情報ＤＢ２０の第３特徴量「規格」とを照合する処理を繰り返し実行し、テキストデータＴ２（又はテキストデータＴ３）と合致する「規格」が１個だけ存在する場合に、該「規格」の物品を、物品２として特定する。例えば、テキストデータＴ１と「物品名称：Ｎ４」が合致し、テキストデータＴ２（又はテキストデータＴ３）と「メーカー名：Ｍ４」が合致し、さらにテキストデータＴ２（又はテキストデータＴ３）と「規格：Ｘ５」が合致した場合には、「物品Ｅ」として特定する。

【0048】

なお、図５に示した物品情報ＤＢ２０のデータ構成例では、第１特徴量として「物品名称」、第２特徴量として「メーカー名」、第３特徴量として「規格」、が登録されている事例を示したものであり、これらに限定されたものではなく、物品毎に固有の物品情報を特徴量として登録することが可能である。

【0049】

次にステップＳ６０において、ステップＳ５０で特定した物品２に関する情報を、予め決められた情報端末４へ送信する。

【0050】

以上で説明したステップＳ１０からステップＳ６０を実行することにより、物品に表示された表示ラベルの画像情報に基づいて当該物品を自動的に検出することが可能になり、さらに当該物品に関する情報が予め決められた情報端末に表示されるようになり、当該物品に関する情報を容易に確認することが可能になる。

【符号の説明】

【0051】

１…物品検出システム
２…物品
３…カメラ
４…情報端末
５…ネットワーク
１０…物品検出装置
１１…画像データ取得部
１２…レイアウト解析部
１３…ＯＣＲ処理部
１４…文字サイズ識別部
１５…物品検出部
１６…情報送信部
１７…医薬品情報取得部
２０…物品情報ＤＢ
３０…医薬品情報ＤＢ

【要約】

【課題】カメラで撮影した物品の表示ラベルの画像情報を用いて当該物品を自動的に特定する物品検出システムを提供する。
【解決手段】
物品２に表示された表示ラベルを撮影するカメラ３と、カメラで撮影された画像データに基づいて物品２を特定する物品検出装置１０と、物品２に関する情報を表示する情報端末４と、を有する物品検出システムであって、
物品検出装置１０は、物品２を識別するための特徴量として物品毎に固有の物品情報が登録された物品情報ＤＢ２０を有し、カメラ３で撮影された物品２の画像データからｍ個（ｍ≧１）の文字領域を抽出してテキストデータＴｍを生成し、文字の相対的な大きさ順にテキストデータＴｍと物品情報ＤＢ２０に登録された特徴量とを照合して物品２を特定する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】