IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧

<>
  • 特許-情報処理装置、システム及び制御方法 図1
  • 特許-情報処理装置、システム及び制御方法 図2
  • 特許-情報処理装置、システム及び制御方法 図3
  • 特許-情報処理装置、システム及び制御方法 図4
  • 特許-情報処理装置、システム及び制御方法 図5
  • 特許-情報処理装置、システム及び制御方法 図6
  • 特許-情報処理装置、システム及び制御方法 図7
  • 特許-情報処理装置、システム及び制御方法 図8
  • 特許-情報処理装置、システム及び制御方法 図9
  • 特許-情報処理装置、システム及び制御方法 図10
  • 特許-情報処理装置、システム及び制御方法 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-26
(45)【発行日】2024-03-05
(54)【発明の名称】情報処理装置、システム及び制御方法
(51)【国際特許分類】
   G06V 30/12 20220101AFI20240227BHJP
【FI】
G06V30/12 C
G06V30/12 B
【請求項の数】 9
(21)【出願番号】P 2020039628
(22)【出願日】2020-03-09
(65)【公開番号】P2021140631
(43)【公開日】2021-09-16
【審査請求日】2022-12-09
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】宇佐美 佑介
(72)【発明者】
【氏名】朝日 一隆
(72)【発明者】
【氏名】佐藤 昌孝
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2010-009410(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 30/12
(57)【特許請求の範囲】
【請求項1】
第1のアルゴリズムによる文字列の認識に失敗した撮像画像に含まれる文字列を入力するための入力装置から前記入力装置の表示画面に表示される少なくとも前記撮像画像に基づく表示画面画像を取得する画像インターフェースと、
前記入力装置に文字列を入力する入力インターフェースと、
記撮像画像を取得する通信インターフェースと、
前記表示画面画像と前記撮像画像とをマッチングすることにより、前記表示画面画像に対応する前記撮像画像を探索し、
前記第1のアルゴリズムと異なる第2のアルゴリズムによる、前記探索された前記撮像画像の文字認識処理の結果に基づく文字列を取得し、
前記入力インターフェースを通じて、前記文字列を前記入力装置に入力する、
プロセッサと、
を備える情報処理装置。
【請求項2】
前記通信インターフェースは、認識装置とデータを送受信し、
前記プロセッサは、前記通信インターフェースを通じて、前記認識装置から前記撮像画像と前記撮像画像の文字認識処理の結果に基づく前記文字列とを取得する、
請求項1に記載の情報処理装置。
【請求項3】
前記プロセッサは、前記通信インターフェースを通じて、前記表示画面画像を取得した時刻に基づく所定の期間において像取得装置が撮像した前記撮像画像を取得する、請求項1又は2に記載の情報処理装置。
【請求項4】
前記表示画面画像に含まれる文字列の画像解像度は、前記撮像画像に含まれる文字列の画像解像度よりも低い、
請求項1乃至3の何れか1項に記載の情報処理装置。
【請求項5】
前記プロセッサは、前記入力インターフェースを通じて、前記文字列を入力するキー入力操作を示す操作信号を入力する、
請求項1乃至4の何れか1項に記載の情報処理装置。
【請求項6】
操作部に接続する操作部インターフェースと、
表示部に接続する表示部インターフェースと、
を備え、
前記プロセッサは、前記表示画面画像に対応する前記撮像画像の探索に失敗した場合、前記表示部インターフェースを通じて前記表示画面を前記表示部に表示し、前記入力インターフェースを通じて前記操作部に入力された操作を示す操作信号を前記入力装置に入力する、
請求項1乃至5の何れか1項に記載の情報処理装置。
【請求項7】
前記撮像画像は、物品の宛先が記載されている面を撮像した画像であり、
前記プロセッサは、前記入力インターフェースを通じて、前記文字列として前記宛先を入力する、
請求項1乃至6の何れか1項に記載の情報処理装置。
【請求項8】
認識装置と情報処理装置とを備えるシステムであって、
前記認識装置は、
画像取得装置から撮像画像を取得する画像取得装置インターフェースと、
前記情報処理装置とデータを送受信する第1の通信インターフェースと、
第1のアルゴリズムと異なる第2のアルゴリズムに従って前記撮像画像に文字認識処理を行い、
前記第1の通信インターフェースを通じて、前記撮像画像と文字認識処理の結果に基づく文字列とを前記情報処理装置に送信する、
第1のプロセッサと、
を備え、
前記情報処理装置は、
前記第1のアルゴリズムによる文字列の認識に失敗した前記撮像画像に含まれる文字列を入力するための入力装置から前記入力装置の表示画面に表示される少なくとも前記撮像画像に基づく表示画面画像を取得する画像インターフェースと、
前記入力装置に文字列を入力する入力インターフェースと、
前記認識装置とデータを送受信する第2の通信インターフェースと、
前記第2の通信インターフェースを通じて、前記撮像画像を前記認識装置から取得し、
前記表示画面画像と前記撮像画像とをマッチングすることにより、前記表示画面画像に対応する前記撮像画像を探索し、
前記第2の通信インターフェースを通じて、前記探索された前記撮像画像の文字認識処理の結果に基づく文字列を前記認識装置から取得し、
前記入力インターフェースを通じて、前記文字列を前記入力装置に入力する、
第2のプロセッサと、
を備える、
システム。
【請求項9】
プロセッサによって実行される制御方法であって、
画像取得装置から撮像画像を取得し、
第1のアルゴリズムと異なる第2のアルゴリズムに従って前記撮像画像に文字認識処理を行い、
前記第1のアルゴリズムによる文字列の認識に失敗した前記撮像画像に含まれる文字列を入力するための入力装置から前記入力装置の表示画面に表示される少なくとも前記撮像画像に基づく表示画面画像を取得し、
前記表示画面画像と前記撮像画像とをマッチングすることにより、前記表示画面画像に対応する前記撮像画像を探索し、
前記探索された前記撮像画像の文字認識処理の結果に基づく文字列を前記入力装置に入力する、
制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、システム及び制御方法に関する。
【背景技術】
【0002】
OCR(optical character recognition)処理により住所などの文字列を読み取る認識装置と、認識装置が文字列の認識に失敗した場合にオペレータから文字列の入力を受け付けるVCS(video coding system)とを備える認識システムが提供されている。
【0003】
そのような認識システムでは、文字列の認識精度を向上させるためには認識装置を改変する必要がある。
【0004】
そこで、既存の認識システムを改変することなく、効果的に文字列を取得する技術が望まれている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2005-007315号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の課題を解決するため、効果的に文字列を取得することができる情報処理装置、システム及び制御方法を提供する。
【課題を解決するための手段】
【0007】
実施形態によれば、情報処理装置は、画像インターフェースと、入力インターフェースと、通信インターフェースと、プロセッサと、を備える。画像インターフェースは、第1のアルゴリズムによる文字列の認識に失敗した撮像画像に含まれる文字列を入力するための入力装置から前記入力装置の表示画面に表示される少なくとも前記撮像画像に基づく表示画面画像を取得する。入力インターフェースは、前記入力装置に文字列を入力する。通信インターフェースは、画像取得装置からの前記撮像画像を取得する。プロセッサは、前記表示画面画像に対応する前記撮像画像を探索し、前記第1のアルゴリズムと異なる第2のアルゴリズムによる、探索された前記撮像画像の文字認識処理の結果に基づく文字列を取得し、前記入力インターフェースを通じて、前記文字列を前記入力装置に入力する。
【図面の簡単な説明】
【0008】
図1図1は、実施形態に係る認識システムの構成例を示すブロック図である。
図2図2は、実施形態に係る第1の認識装置の構成例を示すブロック図である。
図3図3は、実施形態に係るVCSの構成例を示すブロック図である。
図4図4は、実施形態に係るマッチング装置の構成例を示すブロック図である。
図5図5は、実施形態に係る第2の認識装置の構成例を示すブロック図である。
図6図6は、実施形態に係る入力画面の例を示す図である。
図7図7は、実施形態に係る第1の認識装置の動作例を示すフローチャートである。
図8図8は、実施形態に係るVCSの動作例を示すフローチャートである。
図9図9は、実施形態に係る第2の認識装置の動作例を示すフローチャートである。
図10図10は、実施形態に係る第2の認識装置の動作例を示すフローチャートである。
図11図11は、実施形態に係るマッチング装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、実施形態について、図面を参照して説明する。
実施形態に係る認識システムは、ソータに投入される物品から住所などの宛先を読み取る。認識システムは、読み取った宛先に基づいて物品の仕分先(たとえば、ソータのシュート)を設定する。認識システムは、宛先の読み取りに失敗した場合、宛先を目視したオペレータから宛先の入力を受け付ける。
【0010】
図1は、実施形態に係る認識システム1の構成例を示す。図1が示すように、認識システム1は、ソータ2、カメラ3、第1の認識装置10、VCS20(20a乃至20d)、マッチング装置30(30a乃至30d)、操作部40(40a及び40b)、表示部50(50a及び50b)及び第2の認識装置60などを備える。
【0011】
第1の認識装置10は、ソータ2、カメラ3及びVCS20に接続する。VCS20a乃至20dは、マッチング装置30a乃至30dにそれぞれ接続する。マッチング装置30a及び30bは、操作部40a及び40bにそれぞれ接続する。また、マッチング装置30a及び30bは、表示部50a及び50bにそれぞれ接続する。第2の認識装置60は、カメラ3及びマッチング装置30に接続する。
【0012】
なお、認識システム1は、図1が示すような構成の他に必要に応じた構成をさらに具備したり、認識システム1から特定の構成が除外されたりしてもよい。
【0013】
ソータ2は、第1の認識装置10からの信号に基づいて、投入される物品を仕分先に区分する。たとえば、ソータ2は、仕分先として複数のシュートを備える。ソータ2は、第1の認識装置10からの信号に基づいて、物品をシュートに投入する。たとえば、ソータ2は、物品を特定するIDと当該物品を投入する仕分先(たとえば、シュートの番号など)とを示す仕分情報を第1の認識装置10から取得する。ソータ2は、仕分情報に基づいて物品をシュートに投入する。
【0014】
カメラ3(画像取得装置)は、ソータ2に投入される物品を撮像する。カメラ3は、物品の宛先が記載されている面(宛先面)を撮像する。たとえば、カメラ3は、ソータ2に物品を投入する搬送路上に設置されている。カメラ3は、物品を複数の面から撮像するものであってもよい。カメラ3は、撮像した画像を第1の認識装置10及び第2の認識装置60に送信する。
【0015】
第1の認識装置10は、カメラ3から画像(撮像画像)などに基づいてソータ2に物品の仕分先を設定する。たとえば、第1の認識装置10は、物品を識別するIDと当該物品を投入する仕分先とを示す仕分情報をソータ2に送信する。第1の認識装置10については、後に詳述する。
【0016】
VCS20は、第1の認識装置10が宛先の認識に失敗した場合に、宛先の認識に失敗した撮像画像(宛先面の撮像画像)に含まれる宛先を入力するための入力装置である。VCS20については、後に詳述する。
【0017】
マッチング装置30(情報処理装置)は、第2の認識装置60からの宛先をVCS20に入力する。マッチング装置30については、後に詳述する。
【0018】
操作部40は、オペレータから種々の操作の入力を受け付ける。操作部40は、入力された操作を示す信号をマッチング装置30へ送信する。操作部40は、キーボード、ボタン又はタッチパネルなどから構成される。
【0019】
表示部50は、マッチング装置30からの制御に基づいて情報を表示する。たとえば、表示部50は、液晶モニタから構成される。操作部40がタッチパネルから構成される場合、表示部50は、操作部40と一体的に形成された液晶モニタから構成される。
【0020】
なお、認識システム1は、マッチング装置30c及び30dにそれぞれ接続する操作部及び表示部を備えるものであってもよい。
【0021】
第2の認識装置60は、OCR処理(文字認識処理)により、撮像画像から宛先を認識する。第2の認識装置60は、撮像画像と認識した宛先とをマッチング装置30に送信する。
【0022】
次に、第1の認識装置10について説明する。
図2は、第1の認識装置10の構成例を示す。図2が示すように、第1の認識装置10は、プロセッサ11、メモリ12、操作部13、表示部14、カメラインターフェース15及び通信インターフェース16などを備える。プロセッサ11と、メモリ12、操作部13、表示部14、カメラインターフェース15及び通信インターフェース16と、は、データバス又は所定のインターフェースなどを介して通信可能に接続する。
【0023】
なお、第1の認識装置10は、図2が示すような構成の他に必要に応じた構成をさらに具備したり、第1の認識装置10から特定の構成が除外されたりしてもよい。
【0024】
プロセッサ11は、第1の認識装置10全体の動作を制御する。たとえば、プロセッサ11は、宛先の認識結果などに基づいて仕分情報を生成し、ソータ2に送信する。
【0025】
たとえば、プロセッサ11は、CPUなどから構成される。また、プロセッサ11は、ASIC(Application Specific Integrated Circuit)などから構成されるものであってもよい。また、プロセッサ11は、FPGA(Field Programmable Gate Array)などから構成されるものであってもよい。
【0026】
メモリ12は、種々のデータを格納する。たとえば、メモリ12は、ROM、RAM及びNVMとして機能する。
たとえば、メモリ12は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、第1の認識装置10の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、第1の認識装置10で実現する機能をサポートするプログラムなどである。
【0027】
また、メモリ12は、プロセッサ11の処理中のデータなどを一時的に格納する。また、メモリ12は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0028】
操作部13は、オペレータから種々の操作の入力を受け付ける。操作部13は、入力された操作を示す信号をプロセッサ11へ送信する。操作部13は、キーボード、ボタン又はタッチパネルなどから構成される。
【0029】
表示部14は、プロセッサ11からの制御に基づいて情報を表示する。たとえば、表示部14は、液晶モニタから構成される。操作部13がタッチパネルから構成される場合、表示部14は、操作部13と一体的に形成された液晶モニタから構成される。
【0030】
カメラインターフェース15は、カメラ3とデータを送受信するためのインターフェースである。例えば、カメラインターフェース15は、有線でカメラ3と接続する。カメラインターフェース15は、カメラ3からの撮像画像を受信する。カメラインターフェース15は、受信した撮像画像をプロセッサ11に送信する。また、カメラインターフェース15は、カメラ3に電力を供給するものであってもよい。
【0031】
通信インターフェース16は、ソータ2及びVCS20とデータを送受信するためのインターフェースである。たとえば、通信インターフェース16は、LAN(Local Area Network)接続をサポートするものである。また、たとえば、通信インターフェース16は、USB(Universal Serial Bus)接続をサポートするものであってもよい。なお、通信インターフェース16は、第1の認識装置10とデータを送受信するためのインターフェースと、VCS20とデータを送受信するためのインターフェースと、から構成されてもよい。
【0032】
次に、VCS20について説明する。
VCS20a乃至20dは、同様の構成であるため、VCS20として説明する。
【0033】
図3は、VCS20の構成例を示す。図3が示すように、VCS20は、プロセッサ21、メモリ22、操作部インターフェース23、表示部インターフェース24及び通信インターフェース25などを備える。プロセッサ21と、メモリ22、操作部インターフェース23、表示部インターフェース24及び通信インターフェース25と、は、データバス又は所定のインターフェースなどを介して通信可能に接続する。
【0034】
なお、VCS20は、図3が示すような構成の他に必要に応じた構成をさらに具備したり、VCS20から特定の構成が除外されたりしてもよい。
【0035】
プロセッサ21は、VCS20全体の動作を制御する。たとえば、プロセッサ21は、表示部インターフェース24を通じて、宛先の認識に失敗した撮像画像を出力する。
【0036】
たとえば、プロセッサ21は、CPUなどから構成される。また、プロセッサ21は、ASICなどから構成されるものであってもよい。また、プロセッサ21は、FPGAなどから構成されるものであってもよい。
【0037】
メモリ22は、種々のデータを格納する。たとえば、メモリ22は、ROM、RAM及びNVMとして機能する。
たとえば、メモリ22は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、VCS20の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、VCS20で実現する機能をサポートするプログラムなどである。
【0038】
また、メモリ22は、プロセッサ21の処理中のデータなどを一時的に格納する。また、メモリ22は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0039】
操作部インターフェース23は、操作の入力を受け付ける入力装置とデータを送受信するためのインターフェースである。たとえば、操作部インターフェース23は、キーボードに入力される操作(キー入力操作)を示す操作信号を入力装置から受信する。操作部インターフェース23は、受信した操作信号をプロセッサ21に送信する。また、操作部インターフェース23は、入力装置に電力を供給するものであってもよい。たとえば、操作部インターフェース23は、USB接続をサポートする。
【0040】
表示部インターフェース24は、画像を表示する表示装置とデータを送受信するためのインターフェースである。表示部インターフェース24は、プロセッサ21からの画像データを表示装置に出力する。
【0041】
通信インターフェース25は、第1の認識装置10及びマッチング装置30とデータを送受信するためのインターフェースである。たとえば、通信インターフェース25は、LAN接続をサポートするものである。また、たとえば、通信インターフェース25は、USB接続をサポートするものであってもよい。なお、通信インターフェース25は、第1の認識装置10とデータを送受信するためのインターフェースと、マッチング装置30とデータを送受信するためのインターフェースと、から構成されてもよい。
【0042】
次に、マッチング装置30について説明する。
マッチング装置30a乃至30dは、同様の構成であるため、マッチング装置30として説明する。
【0043】
図4は、マッチング装置30の構成例を示す。図4が示すように、マッチング装置30は、プロセッサ31、メモリ32、画像インターフェース33、入力インターフェース34、操作部インターフェース35、表示部インターフェース36及び通信インターフェース37などを備える。プロセッサ31と、メモリ32、画像インターフェース33、入力インターフェース34、操作部インターフェース35、表示部インターフェース36及び通信インターフェース37と、は、データバス又は所定のインターフェースなどを介して通信可能に接続する。
【0044】
なお、マッチング装置30は、図4が示すような構成の他に必要に応じた構成をさらに具備したり、マッチング装置30から特定の構成が除外されたりしてもよい。
【0045】
プロセッサ31(第2のプロセッサ)は、マッチング装置30全体の動作を制御する。たとえば、プロセッサ31は、第2の認識装置60からの宛先をVCS20に入力する。
【0046】
たとえば、プロセッサ31は、CPUなどから構成される。また、プロセッサ31は、ASICなどから構成されるものであってもよい。また、プロセッサ31は、FPGAなどから構成されるものであってもよい。
【0047】
メモリ32は、種々のデータを格納する。たとえば、メモリ32は、ROM、RAM及びNVMとして機能する。
たとえば、メモリ32は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、マッチング装置30の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、マッチング装置30で実現する機能をサポートするプログラムなどである。
【0048】
また、メモリ32は、プロセッサ31の処理中のデータなどを一時的に格納する。また、メモリ32は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0049】
画像インターフェース33は、VCS20の表示部インターフェース24に接続する。画像インターフェース33は、表示部インターフェース24から画像を取得する。即ち、画像インターフェース33は、VCS20のプロセッサ21が表示装置に表示しようとする画像を取得する。画像インターフェース33は、取得した画像をプロセッサ31に送信する。たとえば、画像インターフェース33は、キャプチャボードなどから構成される。
【0050】
入力インターフェース34は、操作部インターフェース23に接続する。入力インターフェース34は、プロセッサ31からの制御に従って操作部インターフェース23にキー入力操作を示す操作信号を入力する。たとえば、入力インターフェース34は、USB接続をサポートする。
【0051】
操作部インターフェース35は、操作部40とデータを送受信するためのインターフェースである。たとえば、操作部インターフェース35は、操作部40に入力された操作を示す操作信号を操作部40から受信する。操作部インターフェース35は、受信した操作信号をプロセッサ31に送信する。また、操作部インターフェース35は、操作部40に電力を供給するものであってもよい。たとえば、操作部インターフェース35は、USB接続をサポートする。
【0052】
表示部インターフェース36は、表示部50とデータを送受信するためのインターフェースである。表示部インターフェース36は、プロセッサ31からの画像データを表示部50に出力する。
【0053】
通信インターフェース37(第2の通信インターフェース)は、VCS20、他のマッチング装置30及び第2の認識装置60とデータを送受信するためのインターフェースである。たとえば、通信インターフェース37は、LAN接続をサポートするものである。また、たとえば、通信インターフェース37は、USB接続をサポートするものであってもよい。なお、通信インターフェース37は、VCS20とデータを送受信するためのインターフェースと、他のマッチング装置30とデータを送受信するためのインターフェースと、第2の認識装置60とデータを送受信するためのインターフェースと、から構成されてもよい。
【0054】
なお、マッチング装置30c及び30dは、操作部インターフェース35及び表示部インターフェース36を備えなくともよい。
【0055】
次に、第2の認識装置60について説明する。
図5は、第2の認識装置60の構成例を示す。図5が示すように、第2の認識装置60は、プロセッサ61、メモリ62、操作部63、表示部64、カメラインターフェース65及び通信インターフェース66などを備える。プロセッサ61と、メモリ62、操作部63、表示部64、カメラインターフェース65及び通信インターフェース66と、は、データバス又は所定のインターフェースなどを介して通信可能に接続する。
【0056】
なお、第2の認識装置60は、図2が示すような構成の他に必要に応じた構成をさらに具備したり、第2の認識装置60から特定の構成が除外されたりしてもよい。
【0057】
プロセッサ61(第1のプロセッサ)は、第2の認識装置60全体の動作を制御する。たとえば、プロセッサ61は、撮像画像から宛先を取得する。
【0058】
たとえば、プロセッサ61は、CPUなどから構成される。また、プロセッサ61は、ASIC(Application Specific Integrated Circuit)などから構成されるものであってもよい。また、プロセッサ61は、FPGA(Field Programmable Gate Array)などから構成されるものであってもよい。
【0059】
メモリ62は、種々のデータを格納する。たとえば、メモリ62は、ROM、RAM及びNVMとして機能する。
たとえば、メモリ62は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、第2の認識装置60の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、第2の認識装置60で実現する機能をサポートするプログラムなどである。
【0060】
また、メモリ62は、プロセッサ61の処理中のデータなどを一時的に格納する。また、メモリ62は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0061】
操作部63は、オペレータから種々の操作の入力を受け付ける。操作部63は、入力された操作を示す信号をプロセッサ61へ送信する。操作部63は、キーボード、ボタン又はタッチパネルなどから構成される。
【0062】
表示部64は、プロセッサ61からの制御に基づいて情報を表示する。たとえば、表示部64は、液晶モニタから構成される。操作部63がタッチパネルから構成される場合、表示部64は、操作部63と一体的に形成された液晶モニタから構成される。
【0063】
カメラインターフェース65(画像取得装置インターフェース)は、カメラ3とデータを送受信するためのインターフェースである。例えば、カメラインターフェース65は、有線でカメラ3と接続する。カメラインターフェース65は、カメラ3からの撮像画像を受信する。カメラインターフェース65は、受信した撮像画像をプロセッサ61に送信する。
【0064】
通信インターフェース66(第1の通信インターフェース)は、マッチング装置30とデータを送受信するためのインターフェースである。たとえば、通信インターフェース66は、LAN接続をサポートするものである。また、たとえば、通信インターフェース66は、USB接続をサポートするものであってもよい。
【0065】
次に、第1の認識装置10が実現する機能について説明する。第1の認識装置10が実現する機能は、プロセッサ11がメモリ12などに格納されるプログラムを実行することで実現される。
【0066】
まず、プロセッサ11は、カメラ3から宛先面を含む撮像画像を取得する機能を有する。
【0067】
ここで、カメラ3は、物品がカメラ3の撮像領域を通過するタイミングで画像を撮像する。カメラ3は、撮像した画像を第1の認識装置10に送信する。
【0068】
プロセッサ11は、カメラインターフェース15を通じてカメラ3から宛先面を含む撮像画像を取得する。なお、プロセッサ11は、カメラ3にリクエストを送信して、撮像画像を含むレスポンスを受信してもよい。
【0069】
また、プロセッサ11は、OCR処理により撮像画像から宛先を取得する機能を有する。
【0070】
撮像画像を取得すると、プロセッサ11は、所定のアルゴリズム(第1のアルゴリズム)に従って撮像画像にOCR処理を行う。OCR処理を行うと、プロセッサ11は、OCR処理の結果に基づいて物品の宛先面に記載されている宛先を取得する。
【0071】
また、プロセッサ11は、OCR処理に失敗した場合、VCS20を用いて宛先を取得する機能を有する。
【0072】
OCR処理に失敗して宛先を取得できない場合、プロセッサ11は、通信インターフェース16を通じて撮像画像をVCS20に送信する。プロセッサ11は、VCS20a乃至20dから1つのVCS20を選択し、選択されたVCS20に撮像画像を送信する。
【0073】
後述するように、VCS20は、撮像画像に含まれる宛先面に記載された宛先を第1の認識装置10に送信する。
プロセッサ11は、通信インターフェース16を通じてVCS20から宛先を取得する。
【0074】
プロセッサ11は、OCR処理によって取得した宛先又はVCS20からの宛先に基づいて物品の仕分先を設定する機能を有する。
【0075】
たとえば、プロセッサ11は、宛先に基づいて仕分先としてソータ2において物品が投入されるシュートの番号を設定する。たとえば、プロセッサ11は、宛先の行政区画(都道府県又は市町村など)に対応するシュートの番号を設定する。
【0076】
プロセッサ11は、通信インターフェース16を通じて、物品を特定するIDと当該物品の仕分先とを示す仕分情報をソータ2に送信する。
【0077】
次に、VCS20が実現する機能について説明する。VCS20が実現する機能は、プロセッサ21がメモリ22などに格納されるプログラムを実行することで実現される。
【0078】
まず、プロセッサ21は、第1の認識装置10から宛先面を含む撮像画像を取得する機能を有する。
【0079】
前述の通り、第1の認識装置10のプロセッサ11は、OCR処理に失敗すると、撮像画像をVCS20に送信する。
【0080】
VCS20のプロセッサ21は、通信インターフェース25を通じて第1の認識装置10から撮像画像を取得する。
【0081】
また、プロセッサ21は、取得した撮像画像をマッチング装置30へ送信する機能を有する。
【0082】
撮像画像を取得すると、プロセッサ21は、撮像画像に写る宛先の入力を受け付ける入力画面(表示画面)を生成する。入力画面は、取得された撮像画像を含む。
【0083】
図6は、プロセッサ21が生成した入力画面100の例を示す。図6が示すように、入力画面100は、画像領域101及び入力欄102などを備える。
【0084】
画像領域101は、第1の認識装置10から取得された撮像画像(表示画面画像)を表示する。画像領域101は、宛先面を含む撮像画像を表示する。なお、画像領域101が表示する撮像画像に含まれる文字列の画像解像度は、カメラ3が撮像した撮像画像に含まれる文字列の画像解像度よりも低くてもよい。
【0085】
入力欄102は、画像領域101の下部に形成されている。入力欄102は、画像領域101が表示する撮像画像に写る宛先面に記載されている宛先の入力を受け付ける。
【0086】
また、入力画面100は、入力欄102への入力を確定するアイコンなどを備えてもよい。
また、入力欄102は、画像領域101の上部に形成されるものであってもよい。
入力画面の構成は、特定の構成に限定されるものではない。
【0087】
入力画面を生成すると、プロセッサ21は、表示部インターフェース24を通じて生成した入力画面を出力する。プロセッサ21は、表示部インターフェース24に表示装置が接続されている場合と同様に入力画面を出力する。即ち、プロセッサ21は、表示部インターフェース24を通じて、ディスプレイなどの表示装置に出力する信号と同様の信号を出力する。
【0088】
また、プロセッサ21は、操作部インターフェース23を通じて宛先の入力を受け付ける機能を有する。
【0089】
入力画面を出力すると、プロセッサ21は、操作部インターフェース23を通じて宛先の入力を受け付ける。プロセッサ21は、操作部インターフェース23に操作部が接続されている場合と同様の信号(キー入力操作を示す操作信号)を取得する。
【0090】
また、プロセッサ21は、入力を受け付けた宛先(宛先を示す情報)を第1の認識装置10に送信する機能を有する。
【0091】
プロセッサ21は、操作部インターフェース23を通じて入力が確定する操作信号(たとえば、エンターキーが押された操作信号など)を受信すると、通信インターフェース25を通じて入力された宛先を第1の認識装置10に送信する。
【0092】
次に、第2の認識装置60が実現する機能について説明する。第2の認識装置60が実現する機能は、プロセッサ61がメモリ62などに格納されるプログラムを実行することで実現される。
【0093】
まず、プロセッサ61は、カメラ3から宛先面を含む撮像画像を取得する機能を有する。
プロセッサ61は、カメラインターフェース65を通じてカメラ3から撮像画像を取得する。プロセッサ61は、カメラ3から、第1の認識装置10が取得する撮像画像と同様の撮像画像を取得する。
【0094】
また、プロセッサ61は、OCR処理により撮像画像から宛先を取得する機能を有する。
【0095】
撮像画像を抽出すると、プロセッサ61は、第1のアルゴリズムとは異なる所定のアルゴリズム(第2のアルゴリズム)に従って撮像画像にOCR処理を行う。第2のアルゴリズムは、第1のアルゴリズムが認識できない文字画像の少なくとも一部を認識することができる。
【0096】
OCR処理を行うと、プロセッサ61は、OCR処理の結果に基づいて物品の宛先面に記載されている宛先を取得する。
【0097】
なお、複数の撮像画像を取得した場合、プロセッサ61は、各撮像画像にOCR処理を行い、OCR処理の結果に基づいて宛先を取得する。
【0098】
宛先を取得すると、プロセッサ61は、撮像画像と宛先とを対応付けてメモリ62に格納する。たとえば、プロセッサ61は、撮像画像のファイル名として宛先を格納してもよい。なお、プロセッサ61は、撮像画像に画像IDなどを設定してもよい。
【0099】
また、プロセッサ61は、撮像画像と宛先とを対応付けてマッチング装置30へ送信する機能を有する。
【0100】
プロセッサ61は、通信インターフェース66を通じてマッチング装置30から、撮像画像及び宛先を要求するリクエストを受信する。たとえば、リクエストは、所定の期間においてカメラ3が撮像した(又は、所定の期間においてプロセッサ61が取得した)撮像画像と当該撮像画像に対応する宛先とを要求する。
【0101】
プロセッサ61は、リクエストに従ってメモリ62から撮像画像及び宛先を取得する。撮像画像及び宛先を取得すると、プロセッサ61は、通信インターフェース66を通じて、撮像画像及び宛先を含むレスポンスをマッチング装置30に送信する。
【0102】
次に、マッチング装置30が実現する機能について説明する。マッチング装置30が実現する機能は、プロセッサ31がメモリ32などに格納されるプログラムを実行することで実現される。
【0103】
まず、プロセッサ31は、VCS20から入力画面を取得する機能を有する。
プロセッサ31は、VCS20の表示部インターフェース24に接続する画像インターフェース33を通じて入力画面を取得する。即ち、プロセッサ31は、宛先面を含む撮像画像をVCS20から取得する。
【0104】
また、プロセッサ31は、第2の認識装置60から撮像画像と当該撮像画像に対応する宛先とを取得する機能を有する。
【0105】
プロセッサ31は、入力画面を取得した時刻に基づいて、当該入力画面に含まれる撮像画像がカメラ3に撮像された時刻を推定する。たとえば、プロセッサ31は、カメラ3が画像を撮像してから第1の認識装置10が宛先を認識し及びVCS20が入力画面を出力するまで時間に基づいて、カメラ3が撮像された時刻を推定する。ここでは、プロセッサ31は、カメラ3が撮像された時刻として、所定の幅を有する期間(推定期間)を推定する。たとえば、プロセッサ31は、入力画面を取得した時刻から所定の時間溯った時刻と、当該時刻から所定の時間が経過した時刻との間の期間を、推定期間として取得する。
【0106】
プロセッサ31は、通信インターフェース37を通じて、推定期間に撮像された撮像画像(候補撮像画像)と当該画像に対応する宛先とを要求するリクエストを送信する。プロセッサ31は、通信インターフェース37を通じて、当該候補撮像画像と当該宛先とを含むレスポンスを第2の認識装置60から受信する。
【0107】
また、プロセッサ31は、取得した候補撮像画像から入力画面に含まれる撮像画像を探索する機能を有する。即ち、プロセッサ31は、入力画面に含まれる撮像画像に対応する候補撮像画像を探索する。
【0108】
プロセッサ31は、所定のアルゴリズムに従って、候補撮像画像と入力画面に含まれる撮像画像とをマッチングする。ここでは、プロセッサ31は、各候補撮像画像と入力画面に含まれる撮像画像との類似度を算出する。
【0109】
プロセッサ31は、最も高い類似度が所定の閾値を超えている場合、当該類似度に対応する候補撮像画像と入力画面に含まれる撮像画像とを同定する。
【0110】
なお、プロセッサ31が候補撮像画像から入力画面に含まれる撮像画像を探索する方法は、特定の方法に限定されるものではない。
【0111】
また、プロセッサ31は、探索された候補撮像画像に対応する宛先をVCS20の操作部インターフェース23に入力する機能を有する。
【0112】
入力画面に含まれる撮像画像の探索に成功すると、プロセッサ31は、当該撮像画像と同定した候補撮像画像に対応する宛先を取得する。宛先を取得すると、プロセッサ31は、入力インターフェース34を通じて、取得した宛先をVCS20の操作部インターフェース23に入力する。即ち、プロセッサ31は、宛先を入力するキー入力操作を示す操作信号を操作部インターフェース23に入力する。
【0113】
また、プロセッサ31は、宛先の入力を完了する操作を示す操作信号を操作部インターフェース23に入力してもよい。
【0114】
また、プロセッサ31は、入力画面に含まれる撮像画像の探索に失敗した場合、操作部40に入力された操作を示す操作信号を操作部インターフェース23に入力する機能を有する。
【0115】
たとえば、プロセッサ31は、最も高い類似度が所定の閾値を超えていない場合、入力画面に含まれる撮像画像の探索に失敗したと判定する。
【0116】
入力画面に含まれる撮像画像の探索に失敗した場合、プロセッサ31は、VCS20からの入力画面を表示部50に表示する。入力画面を表示部50に表示すると、プロセッサ31は、操作部40への入力を受け付ける。操作部40への入力を受け付けると、プロセッサ31は、入力された操作を示す操作信号を操作部インターフェース23に入力する。
【0117】
また、プロセッサ31は、表示部50に入力画面を更新してもよい。即ち、プロセッサ31は、表示部インターフェース24から入力画面をリアルタイムで取得し表示部50に表示する。
【0118】
ここで、オペレータは、表示部50に表示される入力画面の画像領域を目視して宛先を操作部40に入力する。宛先の入力が完了すると、オペレータは、操作部40に、入力を完了する操作を入力する。
【0119】
なお、マッチング装置30に操作部40及び表示部50が接続されていない場合、プロセッサ31は、他のマッチング装置30に接続されている表示部50に入力画面を表示する。また、プロセッサ31は、当該他のマッチング装置30に接続されている操作部40に入力された操作を示す操作信号をVCS20の操作部インターフェース23に入力する。
【0120】
たとえば、主たるマッチング装置30(たとえば、マッチング装置30a)又は外部の制御装置は、入力に用いる操作部40及び入力画面を表示する表示部50を管理してもよい。
【0121】
次に、第1の認識装置10の動作例について説明する。
図7は、第1の認識装置10の動作例について説明するためのフローチャートである。
【0122】
まず、第1の認識装置10のプロセッサ11は、カメラインターフェース15を通じて物品の宛先面を含む撮像画像を取得する(S11)。撮像画像を取得すると、プロセッサ11は、第1のアルゴリズムに従って撮像画像にOCR処理を行う(S12)。
【0123】
OCR処理による宛先の取得に失敗すると(S13、NO)、プロセッサ11は、通信インターフェース16を通じて撮像画像をVCS20に送信する(S14)。撮像画像をVCS20に送信すると、プロセッサ11は、通信インターフェース16を通じて、VCS20から宛先を受信したかを判定する(S15)。
【0124】
VCS20から宛先を受信していないと判定すると(S15、NO)、プロセッサ11は、S15に戻る。
【0125】
OCR処理による宛先の取得に成功した場合(S13、YES)、又は、VCS20から宛先を受信したと判定した場合(S15、YES)、プロセッサ11は、OCR処理によって取得した宛先又はVCS20から受信した宛先に基づいて、ソータ2に物品の仕分先を設定する(S16)。
ソータ2に物品の仕分先を設定すると、プロセッサ11は、動作を終了する。
【0126】
次に、VCS20の動作例について説明する。
図8は、VCS20の動作例について説明するためのフローチャートである。
【0127】
まず、VCS20のプロセッサ11は、通信インターフェース25を通じて第1の認識装置10から撮像画像を受信したかを判定する(S21)。第1の認識装置10から撮像画像を受信していないと判定すると(S21、NO)、プロセッサ11は、S21に戻る。
【0128】
第1の認識装置10から撮像画像を受信したと判定すると(S21、YES)、プロセッサ21は、表示部インターフェース24を通じて撮像画像を含む入力画面を出力する(S22)。
【0129】
入力画面を出力すると、プロセッサ21は、操作部インターフェース23を通じて宛先の入力を受け付けたかを判定する(S23)。宛先の入力を受け付けていないと判定すると(S23、NO)、プロセッサ21は、S23に戻る。
【0130】
宛先の入力を受け付けたと判定すると(S23、YES)、プロセッサ21は、通信インターフェース25を通じて、入力された宛先を第1の認識装置10に送信する(S24)。入力された宛先を第1の認識装置10に送信すると、プロセッサ21は、動作を終了する。
【0131】
次に、第2の認識装置60の動作例について説明する。
まず、第2の認識装置60が宛先を取得する動作例について説明する。
【0132】
図9は、第2の認識装置60が宛先を取得する動作例について説明するためのフローチャートである。
【0133】
まず、第2の認識装置60のプロセッサ61は、カメラインターフェース65を通じて物品の宛先面を含む撮像画像を取得する(S31)。撮像画像を取得すると、プロセッサ61は、第のアルゴリズムに従って撮像画像にOCR処理を行う(S32)。
【0134】
OCR処理による宛先の取得に成功すると(S33、YES)、プロセッサ61は、撮像画像と宛先とを対応付けてメモリ62に格納する(S34)。
【0135】
OCR処理による宛先の取得に失敗した場合(S33、NO)、又は、撮像画像と宛先とを対応付けてメモリ62に格納した場合(S34)、プロセッサ61は、動作を終了する。
【0136】
次に、第2の認識装置60が撮像画像及び宛先を送信する動作例について説明する。
【0137】
図10は、第2の認識装置60が撮像画像及び宛先を送信する動作例について説明するためのフローチャートである。
【0138】
まず、第2の認識装置60のプロセッサ61は、通信インターフェース66を通じてマッチング装置30からリクエストを受信したかを判定する(S41)。リクエストを受信していないと判定すると(S41、NO)、プロセッサ61は、S41に戻る。
【0139】
リクエストを受信したと判定すると(S41、YES)、プロセッサ61は、受信したリクエストに従って撮像画像及び宛先をメモリ62から取得する(S42)。撮像画像及び宛先を取得すると、プロセッサ61は、通信インターフェース66を通じて撮像画像及び宛先を含むレスポンスをマッチング装置30に送信する(S43)。
レスポンスを送信すると、プロセッサ61は、動作を終了する。
【0140】
次に、マッチング装置30の動作例について説明する。
図11は、マッチング装置30の動作例について説明するためのフローチャートである。
【0141】
マッチング装置30のプロセッサ31は、画像インターフェース33を通じて入力画面を取得したかを判定する(S51)。入力画面を取得していないと判定すると(S51、NO)、プロセッサ31は、S51に戻る。
【0142】
入力画面を取得したと判定すると(S51、YES)、プロセッサ31は、入力画面を取得した時刻に基づく撮像画像(候補撮像画像)及び宛先を第2の認識装置60から取得する(S52)。
【0143】
候補撮像画像及び宛先を取得すると、プロセッサ31は、各候補撮像画像から入力画面に含まれる撮像画像を探索する(S53)。
【0144】
入力画面に含まれる撮像画像の探索に成功すると(S54、YES)、プロセッサ31は、当該撮像画像と同定した候補撮像画像に対応する宛先を取得する(S55)。宛先を取得すると、プロセッサ31は、入力インターフェース34を通じて宛先を入力するためのキー入力操作を示す操作信号をVCS20の操作部インターフェース23に入力する(S56)。
【0145】
入力画面に含まれる撮像画像の探索に失敗すると(S54、NO)、プロセッサ31は、表示部50に入力画面を表示する(S57)。入力画面を表示すると、プロセッサ31は、操作部40に入力された操作を示す操作信号をVCS20の操作部インターフェース23に入力する(S58)。ここでは、プロセッサ31は、入力が完了した操作の入力を受け付けるまで、S58を実行する。
【0146】
宛先を入力するためのキー入力操作を示す操作信号を操作部インターフェース23に入力した場合(S56)、又は、操作部40に入力された操作を示す操作信号を操作部インターフェース23に入力した場合(S58)、プロセッサ31は、動作を終了する。
【0147】
なお、マッチング装置30のプロセッサ31は、入力画面に含まれる撮像画像の探索に失敗した場合、推定期間を拡大して撮像画像及び宛先を第2の認識装置60から取得してもよい。プロセッサ31は、入力画面に含まれる撮像画像の探索を再度行う。
【0148】
また、プロセッサ31は、第2のアルゴリズムに従って、第2の認識装置60が取得した撮像画像にOCR処理を行い、宛先を取得してもよい。たとえば、第2の認識装置60のプロセッサ31は、カメラ3から撮像画像を取得すると、マッチング装置30の1つに撮像画像を送信する。マッチング装置30のプロセッサ31は、受信した撮像画像にOCR処理を行い、宛先を取得する。宛先を取得すると、プロセッサ31は、取得した宛先を第2の認識装置60に送信する。第2の認識装置60のプロセッサ61は、撮像画像と受信した宛先とを対応付けてメモリ62に格納する。
【0149】
また、第2のアルゴリズムによるOCR処理は、マッチング装置30及び第2の認識装置60の両者で行われてもよい。
また、第2のアルゴリズムによるOCR処理は、外部装置によって実行されてもよい。たとえば、第2のアルゴリズムによるOCR処理は、クラウドコンピューティングによって実行される。この場合、第2の認識装置60のプロセッサ61は、外部装置に撮像画像を送信する。プロセッサ61は、外部装置からOCR処理の結果を取得する。
【0150】
また、第2の認識装置60の機能は、マッチング装置30の何れかが行ってもよい。
また、マッチング装置30は、複数の操作部及び表示部に接続するものであってもよい。
また、マッチング装置30は、操作部及び表示部と一体的に形成されるものであってもよい。
【0151】
また、第1の認識装置10は、VCS20と一体的に形成されるものであってもよい。
また、第1の認識装置10は、カメラ3と一体的に形成されるものであってもよい。
また、第1の認識装置10は、ソータ2と一体的に形成されるものであってもよい。
【0152】
また、VCS20は、操作部及び表示部を備えるものであってもよい。
また、認識システム1は、物品の宛先以外の文字列を認識するものであってもよい。認識システム1が認識する文字列は、特定の構成に限定されるものではない。
【0153】
以上のように構成された認識システムは、第1の認識装置に接続するカメラから撮像画像を予め取得する。認識システム1は、予め第1の認識装置の第1のアルゴリズムと異なる第2のアルゴリズムに従って、撮像画像にOCR処理を行う。認識システムは、OCR処理の結果に基づく宛先を予めメモリなどに格納する。
【0154】
認識システムは、第1の認識装置が宛先の認識に失敗した撮像画像をVCSから取得する。認識システムは、予め取得した撮像画像からVCSからの撮像画像にマッチする撮像画像を探索する。認識システムは、探索された撮像画像に対応する宛先をVCSに入力する。
【0155】
その結果、認識システムは、第1の認識装置を改変することなく、効果的に宛先を取得することができる。
【0156】
また、認識システムは、第2のアルゴリズムに従ったOCR処理に基づく宛先を予め格納することにより、高速にVCSに宛先を入力することができる。
【0157】
また、カメラからの撮像画像の解像度がVCSからの撮像画像の解像度よりも低い場合であっても、認識システムは、高解像度の撮像画像に基づいて第2のアルゴリズムに従ったOCR処理を行うことができる。
【0158】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0159】
1…認識システム、2…ソータ、3…カメラ、10…第1の認識装置、11…プロセッサ、12…メモリ、13…操作部、14…表示部、15…カメラインターフェース、16…通信インターフェース、20(20a乃至20d)…VCS、21…プロセッサ、22…メモリ、23…操作部インターフェース、24…表示部インターフェース、25…通信インターフェース、30(30a乃至30d)…マッチング装置、31…プロセッサ、32…メモリ、33…画像インターフェース、34…入力インターフェース、35…操作部インターフェース、36…表示部インターフェース、37…通信インターフェース、40(40a及び40b)…操作部、50(50a及び50b)…表示部、60…第2の認識装置、61…プロセッサ、62…メモリ、63…操作部、64…表示部、65…カメラインターフェース、66…通信インターフェース、100…入力画面、101…画像領域、102…入力欄。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11