(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023026154
(43)【公開日】2023-02-24
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06V 30/146 20220101AFI20230216BHJP
【FI】
G06K9/32
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021131869
(22)【出願日】2021-08-13
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】鳥居 杜朗
(72)【発明者】
【氏名】大川 泰弘
(72)【発明者】
【氏名】赤木 琢磨
【テーマコード(参考)】
5B029
【Fターム(参考)】
5B029AA01
5B029BB02
5B029CC16
5B029CC17
5B029CC27
5B029CC28
5B029EE03
5B029EE04
5B029EE05
5B029EE19
(57)【要約】
【課題】オペレータが文字行を視認しやすい画像を表示することができる情報処理装置及びプログラムを提供する。
【解決手段】実施形態によれば、情報処理装置は、インターフェースと、プロセッサと、を備える。インターフェースは、外部装置及び入出力装置とデータを送受信する。プロセッサは、前記インターフェースを通じて、文字行が記載されている帳票を含む画像に対するOCR処理の過程で生成されるOCR中間情報を前記外部装置から受信し、前記OCR中間情報に基づいて、前記帳票が写る帳票画像の表示方法を補正し、前記インターフェースを通じて、前記入出力装置に補正後の前記帳票画像を表示させ、前記インターフェースを通じて、前記入出力装置に入力された文字を取得し、前記インターフェースを通じて、取得された前記文字に基づく文字情報を前記外部装置に送信する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
外部装置及び入出力装置とデータを送受信するインターフェースと、
前記インターフェースを通じて、文字行が記載されている帳票を含む画像に対するOCR処理の過程で生成されるOCR中間情報を前記外部装置から受信し、
前記OCR中間情報に基づいて、前記帳票が写る帳票画像の表示方法を補正し、
前記インターフェースを通じて、前記入出力装置に補正後の前記帳票画像を表示させ、
前記インターフェースを通じて、前記入出力装置に入力された文字を取得し、
前記インターフェースを通じて、取得された前記文字に基づく文字情報を前記外部装置に送信する、
プロセッサと、
を備える情報処理装置。
【請求項2】
前記プロセッサは、前記帳票画像の大きさ又は傾きを補正する、
請求項1に記載の情報処理装置。
【請求項3】
前記OCR中間情報は、前記画像において前記文字行が写る文字行領域のサイズ及び傾きを含む、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記プロセッサは、前記文字行領域の高さに基づいて、前記帳票画像の大きさを補正する、
請求項3に記載の情報処理装置。
【請求項5】
前記プロセッサは、前記文字行領域の一辺が所定の傾きとなるように、前記帳票画像の傾きを補正する、
請求項3又は4に記載の情報処理装置。
【請求項6】
前記OCR中間情報は、前記帳票が写る帳票領域に関する帳票情報を含み、
前記プロセッサは、
前記インターフェースを通じて、前記画像を前記外部装置から受信し、
前記帳票情報に基づいて、前記画像から前記帳票画像を抽出する、
請求項1乃至5の何れか1項に記載の情報処理装置。
【請求項7】
前記プロセッサは、前記インターフェースを通じて、前記帳票画像を前記外部装置から受信する、
請求項1乃至5の何れか1項に記載の情報処理装置。
【請求項8】
前記プロセッサは、
前記インターフェースを通じて、前記帳票を選択する操作の入力を受け付け、
前記インターフェースを通じて、前記入出力装置に選択された前記帳票に対応する補正後の前記帳票画像を表示させる、
請求項1乃至7の何れか1項に記載の情報処理装置。
【請求項9】
前記文字行は、宛先である、
請求項1乃至8の何れか1項に記載の情報処理装置。
【請求項10】
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
文字行が記載されている帳票を含む画像に対するOCR処理の過程で生成されるOCR中間情報を外部装置から受信する機能と、
前記OCR中間情報に基づいて、前記帳票が写る帳票画像の表示方法を補正する機能と、
入出力装置に補正後の前記帳票画像を表示させる機能と、
前記入出力装置に入力された文字を取得する機能と、
取得された前記文字に基づく文字情報を前記外部装置に送信する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
OCR(optical character recognition)処理により宛先などの文字行を読み取る認識装置と、認識装置が文字行の認識に失敗した場合にオペレータから文字の入力を受け付けるVCS(video coding system)とを備える認識システムが提供されている。
【0003】
VCSは、文字行を含む画像をオペレータに対して画面表示してオペレータによる文字の入力を受け付ける。
従来、VCSは、文字行の傾き又は大きさによっては、オペレータが文字行を視認しにくい画像を表示してしまうことがある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の課題を解決するため、オペレータが文字行を視認しやすい画像を表示することができる情報処理装置及びプログラムを提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、情報処理装置は、インターフェースと、プロセッサと、を備える。インターフェースは、外部装置及び入出力装置とデータを送受信する。プロセッサは、前記インターフェースを通じて、文字行が記載されている帳票を含む画像に対するOCR処理の過程で生成されるOCR中間情報を前記外部装置から受信し、前記OCR中間情報に基づいて、前記帳票が写る帳票画像の表示方法を補正し、前記インターフェースを通じて、前記入出力装置に補正後の前記帳票画像を表示させ、前記インターフェースを通じて、前記入出力装置に入力された文字を取得し、前記インターフェースを通じて、取得された前記文字に基づく文字情報を前記外部装置に送信する。
【図面の簡単な説明】
【0007】
【
図1】
図1は、第1の実施形態に係る認識システムの構成例を示すブロック図である。
【
図2】
図2は、第1の実施形態に係るOCR装置の構成例を示すブロック図である。
【
図3】
図3は、第1の実施形態に係る制御装置の構成例を示すブロック図である。
【
図4】
図4は、第1の実施形態に係るVCSの構成例を示すブロック図である。
【
図5】
図5は、第1の実施形態に係る荷物画像の例を示す図である。
【
図6】
図6は、第1の実施形態に係るOCR中間情報の構成例を示す図である。
【
図7】
図7は、第1の実施形態に係る帳票画像の例を示す図である。
【
図8】
図8は、第1の実施形態に係る補正後の帳票画像の例を示す図である。
【
図9】
図9は、第1の実施形態に係るVCSの動作例を示すフローチャートである。
【
図10】
図10は、第2の実施形態に係る制御装置の動作例を示すフローチャートである。
【
図11】
図11は、第2の実施形態に係るVCSの動作例を示すフローチャートである。
【
図12】
図12は、第3の実施形態に係る選択画面の例を示す図である。
【
図13】
図13は、第3の実施形態に係るVCSの動作例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照して説明する。
(第1の実施形態)
実施形態に係る認識システムは、区分装置に投入される荷物から住所などの宛先を読み取る。認識システムは、読み取った宛先に基づいて荷物の仕分先(たとえば、区分装置のシュータなど)を設定する。認識システムは、宛先の読み取りに失敗した場合、宛先を目視したオペレータから宛先の入力を受け付ける。
【0009】
図1は、実施形態に係る認識システム1の構成例を示す。
図1が示すように、認識システム1は、区分装置2、カメラ4、OCR装置10、制御装置20及びVCS30などを備える。OCR装置10は、カメラ4及び制御装置20に接続する。制御装置20は、区分装置2及びVCS30に接続する。
【0010】
なお、認識システム1は、
図1が示すような構成の他に必要に応じた構成をさらに具備したり、認識システム1から特定の構成が除外されたりしてもよい。
【0011】
区分装置2は、作業員、搬送ベルト又はロボットなどによって投入された荷物を区分する。区分装置2は、荷物の宛先に関連する宛先情報(文字情報)を制御装置20から受信する。区分装置2は、宛先情報に基づいて荷物を区分する。たとえば、区分装置2は、区分先としてのシュータ、ポケット、カート又はトレイなどに荷物を区分する。たとえば、区分装置2は、ソータ、搬送ベルト又はロボットなどから構成される。
【0012】
カメラ4は、区分装置2に投入される荷物を撮影する。カメラ4は、宛先が記載されている帳票を撮影する。たとえば、カメラ4は、帳票が添付されている面を撮影する。カメラ4は、撮影で得られた画像(荷物画像)をOCR装置10に供給する。
【0013】
たとえば、カメラ4は、CCD(Charge Coupled Device)カメラである。また、カメラ4は、荷物を照らす光源を備えるものであってもよい。
【0014】
OCR装置10は、カメラ4から荷物画像を取得する。OCR装置10は、OCR処理によって宛先情報を生成し、制御装置20に送信する。
また、OCR装置10は、OCR処理に失敗すると、OCR処理に関連するOCR中間情報を生成する。OCR装置10は、OCR中間情報と帳票画像とを制御装置20に送信する。
OCR装置10及びOCR中間情報については、後に詳述する。
【0015】
制御装置20(外部装置)は、OCR装置10から宛先情報を取得し、区分装置2に送信する。
また、制御装置20は、OCR装置10からOCR中間情報及び荷物画像を取得し、VCS30に送信する。また、制御装置20は、VCS30から宛先情報を取得し、区分装置2に送信する。
制御装置20については、後述する。
【0016】
VCS30は、制御装置20からOCR中間情報及び帳票画像を取得する。VCS30は、OCR中間情報に基づいて荷物画像から帳票が写る帳票画像を抽出して表示する。VCS30は、表示された帳票画像を目視したオペレータから宛先の入力を受け付ける。VCS30は、入力された宛先を示す宛先情報を制御装置20に送信する。
VCS30については、後述する。
【0017】
次に、OCR装置10について説明する。
図2は、実施形態に係るOCR装置10の構成例を示す。
図2は、OCR装置10の構成例を示すブロック図である。
図2が示すように、OCR装置10は、プロセッサ11、ROM12、RAM13、NVM14、通信部15、操作部16、表示部17及びカメラインターフェース18などを備える。
【0018】
プロセッサ11と、ROM12、RAM13、NVM14、通信部15、操作部16、表示部17及びカメラインターフェース18と、は、データバスなどを介して互いに接続する。
なお、OCR装置10は、
図2が示すような構成の他に必要に応じた構成を具備したり、OCR装置10から特定の構成が除外されたりしてもよい。
【0019】
プロセッサ11は、OCR装置10全体の動作を制御する機能を有する。プロセッサ11は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ11は、内部メモリ、ROM12又はNVM14が予め記憶するプログラムを実行することにより種々の処理を実現する。
【0020】
なお、プロセッサ11がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ11は、ハードウエア回路により実行される機能を制御する。
【0021】
ROM12は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM12に記憶される制御プログラム及び制御データは、OCR装置10の仕様に応じて予め組み込まれる。
【0022】
RAM13は、揮発性のメモリである。RAM13は、プロセッサ11の処理中のデータなどを一時的に格納する。RAM13は、プロセッサ11からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM13は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0023】
NVM14は、データの書き込み及び書き換えが可能な不揮発性のメモリである。NVM14は、たとえば、HDD(Hard Disk Drive)、SSD(Solid State Drive)又はフラッシュメモリなどから構成される。NVM14は、OCR装置10の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【0024】
たとえば、NVM14は、OCR処理を行うための辞書情報などを格納する。たとえば、辞書情報は、各文字の特徴量などを示す。また、辞書情報は、機械学習によって得られたネットワークなどであってもよい。辞書情報の構成は、特定の構成に限定されるものではない。
【0025】
通信部15は、制御装置20などとデータを送受信するインターフェースである。たとえば、通信部15は、有線又は無線のLAN(Local Area Network)接続をサポートするインターフェースである。
【0026】
操作部16は、オペレータから種々の操作の入力を受け付ける。操作部16は、入力された操作を示す信号をプロセッサ11へ送信する。操作部16は、タッチパネルから構成されてもよい。
【0027】
表示部17は、プロセッサ11からの画像データを表示する。たとえば、表示部17は、液晶モニタから構成される。操作部16がタッチパネルから構成される場合、表示部17は、操作部16と一体的に形成されてもよい。
【0028】
カメラインターフェース18は、カメラ4に接続するインターフェースである。カメラインターフェース18は、プロセッサ11からの信号をカメラ4に送信する。また、カメラインターフェース18は、カメラ4からの信号(荷物画像など)を取得しプロセッサ11に送信する。
【0029】
次に、制御装置20について説明する。
図3は、実施形態に係る制御装置20の構成例を示す。
図3は、制御装置20の構成例を示すブロック図である。
図3が示すように、制御装置20は、プロセッサ21、ROM22、RAM23、NVM24、通信部25、操作部26及び表示部27などを備える。
【0030】
プロセッサ21と、ROM22、RAM23、NVM24、通信部25、操作部26及び表示部27と、は、データバスなどを介して互いに接続する。
なお、制御装置20は、
図3が示すような構成の他に必要に応じた構成を具備したり、制御装置20から特定の構成が除外されたりしてもよい。
【0031】
プロセッサ21は、制御装置20全体の動作を制御する機能を有する。プロセッサ21は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ21は、内部メモリ、ROM22又はNVM24が予め記憶するプログラムを実行することにより種々の処理を実現する。
【0032】
なお、プロセッサ21がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ21は、ハードウエア回路により実行される機能を制御する。
【0033】
ROM22は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM22に記憶される制御プログラム及び制御データは、制御装置20の仕様に応じて予め組み込まれる。
【0034】
RAM23は、揮発性のメモリである。RAM23は、プロセッサ21の処理中のデータなどを一時的に格納する。RAM23は、プロセッサ21からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM23は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0035】
NVM24は、データの書き込み及び書き換えが可能な不揮発性のメモリである。NVM24は、たとえば、HDD、SSD又はフラッシュメモリなどから構成される。NVM24は、制御装置20の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【0036】
通信部25は、区分装置2、OCR装置10及びVCS30などとデータを送受信するインターフェースである。たとえば、通信部25は、有線又は無線のLAN接続をサポートするインターフェースである。
【0037】
なお、通信部25は、区分装置2とデータを送受信するインターフェースと、OCR装置10とデータを送受信するインターフェースと、VCS30とデータを送受信するインターフェースと、から構成されるものであってもよい。
【0038】
操作部26は、オペレータから種々の操作の入力を受け付ける。操作部26は、入力された操作を示す信号をプロセッサ21へ送信する。操作部26は、タッチパネルから構成されてもよい。
【0039】
表示部27は、プロセッサ21からの画像データを表示する。たとえば、表示部27は、液晶モニタから構成される。操作部26がタッチパネルから構成される場合、表示部27は、操作部26と一体的に形成されてもよい。
【0040】
次に、VCS30について説明する。
図4は、実施形態に係るVCS30の構成例を示す。
図4は、VCS30の構成例を示すブロック図である。
図4が示すように、VCS30は、管理装置3及び入出力装置40などから構成される。管理装置3と入出力装置40とは、互いに接続する。
ここでは、VCS30は、3つの入出力装置40を備える。
【0041】
管理装置3(情報処理装置)は、VCS30全体を制御する。
管理装置3は、プロセッサ31、ROM32、RAM33、NVM34、通信部35及び入出力インターフェース36などを備える。
プロセッサ31と、ROM32、RAM33、NVM34、通信部35及び入出力インターフェース36と、は、データバスなどを介して互いに接続する。
【0042】
プロセッサ31は、管理装置3全体の動作を制御する機能を有する。プロセッサ31は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ31は、内部メモリ、ROM32又はNVM34が予め記憶するプログラムを実行することにより種々の処理を実現する。
【0043】
なお、プロセッサ31がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ31は、ハードウエア回路により実行される機能を制御する。
【0044】
ROM32は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM32に記憶される制御プログラム及び制御データは、管理装置3の仕様に応じて予め組み込まれる。
【0045】
RAM33は、揮発性のメモリである。RAM33は、プロセッサ31の処理中のデータなどを一時的に格納する。RAM33は、プロセッサ31からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM33は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0046】
NVM34は、データの書き込み及び書き換えが可能な不揮発性のメモリである。NVM34は、たとえば、HDD、SSD又はフラッシュメモリなどから構成される。NVM34は、管理装置3の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【0047】
通信部35は、制御装置20などとデータを送受信するインターフェースである。たとえば、通信部35は、有線又は無線のLAN接続をサポートするインターフェースである。
【0048】
入出力インターフェース36は、入出力装置40とデータを送受信するインターフェースである。入出力インターフェース36は、帳票画像などを入出力装置40に送信する。また、入出力インターフェース36は、入出力装置40から宛先などを取得する。たとえば、入出力インターフェース36は、有線又は無線のLAN接続をサポートするインターフェースである。
【0049】
なお、通信部35と入出力インターフェース36とは、一体的に構成されるものであってもよい。
【0050】
入出力装置40は、管理装置3からの帳票画像などを表示する。また、入出力装置40は、オペレータから宛先の入力を受け付ける。入出力装置40は、入力された宛先を管理装置3に送信する。
【0051】
入出力装置40は、操作部41及び表示部42などを備える。
操作部41は、オペレータから種々の操作の入力を受け付ける。操作部26は、タッチパネルから構成されてもよい。入出力装置40は、操作部41に入力された操作を示す信号を管理装置3へ送信する。
【0052】
表示部42は、管理装置3からの画像データ(帳票画像など)を表示する。たとえば、表示部27は、液晶モニタから構成される。操作部26がタッチパネルから構成される場合、表示部27は、操作部26と一体的に形成されてもよい。
たとえば、入出力装置40は、デスクトップPC又はノートPCなどである。
【0053】
なお、VCS30は、
図4が示すような構成の他に必要に応じた構成を具備したり、VCS30から特定の構成が除外されたりしてもよい。
【0054】
次に、OCR装置10が実現する機能について説明する。OCR装置10が実現する機能は、プロセッサ11が内部メモリ、ROM12又はNVM14などに格納されるプログラムを実行することで実現される。
【0055】
まず、プロセッサ11は、荷物画像を取得する機能を有する。
ここでは、カメラ4は、区分装置2に投入される荷物を撮影可能な位置に設置されているものとする。
【0056】
プロセッサ11は、カメラインターフェース18を通じて、カメラ4に荷物を撮影させる。プロセッサ11は、カメラインターフェース18を通じて、荷物が写る荷物画像をカメラ4から取得する。
【0057】
図5は、プロセッサ11がカメラ4から取得した荷物画像200の例を示す。
図5が示すように、荷物画像200は、荷物100の一面を含む。
また、荷物画像200は、荷物100の一面において、荷物100に添付されている帳票101乃至103を含む。帳票101乃至103には、宛先などの文字行が記載されている。
【0058】
また、プロセッサ11は、OCR処理によって荷物画像から宛先情報を取得する機能を有する。
【0059】
まず、プロセッサ11は、所定の画像処理を用いて荷物画像200から帳票が写る領域(帳票領域)を抽出する。たとえば、プロセッサ11は、帳票のエッジ検出によって帳票領域を抽出する。また、プロセッサ11は、ニューラルネットワークなどの人工知能を用いて帳票領域を抽出してもよい。プロセッサ11が荷物画像200から帳票領域を抽出する方法は、特定の方法に限定されるものではない。
【0060】
また、プロセッサ11は、抽出された帳票領域のパラメータを取得する。ここでは、プロセッサ11は、帳票領域の座標(たとえば、中心座標)、サイズ及び角度(帳票領域の傾き)を取得する。
【0061】
帳票領域を抽出すると、プロセッサ11は、帳票領域から文字行(たとえば、1行の文字行)が写る領域(文字行領域)を抽出する。ここでは、プロセッサ11は、矩形の文字行領域(文字行を含む最小矩形領域)を抽出するものとする。
【0062】
プロセッサ11は、所定の画像処理を用いて帳票領域から宛先の文字行領域を抽出する。たとえば、プロセッサ11は、パターン認識によって文字行領域を検出して抽出する。また、プロセッサ11は、ニューラルネットワークなどの人工知能を用いて文字行領域を抽出してもよい。プロセッサ11が帳票領域から文字行領域を抽出する方法は、特定の方法に限定されるものではない。
【0063】
また、プロセッサ11は、抽出された文字行領域のパラメータを取得する。ここでは、プロセッサ11は、文字行領域の座標、サイズ及び角度(文字行領域の傾き)を取得する。また、プロセッサ11は、文字行領域に含まれる文字行が手書き又は印字であるかを示すフラグを取得する。たとえば、プロセッサ11は、所定の画像処理を用いて文字行領域に含まれる文字行が手書き又は印字であるかを判定する。
【0064】
文字行領域を抽出すると、プロセッサ11は、文字行領域に含まれる文字行を認識する。
【0065】
たとえば、プロセッサ11は、文字行領域から1つの文字を含む領域(文字領域)を抽出する。文字領域を抽出すると、プロセッサ11は、文字領域の画像と辞書情報とをマッチングする。プロセッサ11は、マッチング処理によって、各文字領域に記載されている文字を認識する。
【0066】
各文字領域に記載されている文字を認識すると、プロセッサ11は、認識された文字に基づいて、帳票101乃至103に記載されている宛先を認識する。宛先を認識すると、プロセッサ11は、認識された宛先に基づいて宛先情報を生成する。
【0067】
宛先情報を生成すると、プロセッサ11は、通信部15を通じて、生成された宛先情報を制御装置20に送信する。
【0068】
また、プロセッサ11は、宛先情報の取得に失敗すると、OCR中間情報及び荷物画像を制御装置20に送信する機能を有する。
【0069】
たとえば、プロセッサ11は、文字の認識に失敗すると、OCR中間情報を生成する。OCR中間情報は、OCR処理の過程で生成される情報から構成される。
【0070】
図6は、OCR中間情報の構成例を示す。
図6が示すように、OCR中間情報は、荷物画像情報、帳票情報、文字行情報及び候補情報などから構成される。
【0071】
荷物画像情報は、荷物画像に関連する。ここでは、荷物画像情報は、「画像のサイズ」から構成される。「画像のサイズ」は、荷物画像のサイズである。
【0072】
帳票情報は、帳票に関連する。ここでは、帳票情報は、「帳票の座標」、「帳票のサイズ」及び「帳票の角度」から構成される。
【0073】
「帳票の座標」は、荷物画像における帳票領域の座標である。
「帳票のサイズ」は、荷物画像における帳票領域のサイズである。
「帳票の角度」は、荷物画像における帳票領域の角度である。
【0074】
文字行情報は、文字行に関連する。ここでは、文字行情報は、「文字行の座標」、「文字行のサイズ」、「文字行の角度」及び「手書き・印活判定」から構成される。
【0075】
「文字行の座標」は、荷物画像における文字行領域の座標である。
「文字行のサイズ」は、荷物画像における文字行領域のサイズである。
「文字行の角度」は、荷物画像における文字行領域の角度である。
「手書き・印活判定」は、文字行領域の文字行が手書き又は印字であるかを示す。
【0076】
候補情報は、宛先の候補に関連する。ここでは、候補情報は、「住所の候補」から構成される。「住所の候補」は、帳票に記載されている住所(宛先)の候補である。たとえば、プロセッサ11は、「住所の候補」として、確定はできないが宛先である可能性が高い文字行を含む候補情報を生成する。
【0077】
なお、帳票領域が複数ある場合には、OCR中間情報は、それぞれの帳票について、帳票情報、文字行情報及び候補情報を格納してもよい。
OCR中間情報の構成は、特定の構成に限定されるものではない。
【0078】
また、プロセッサ11は、OCR処理の過程においてOCR中間情報を構成する情報の中で取得に失敗した情報がある場合、当該情報を含まないOCR中間情報を生成する。
【0079】
OCR中間情報を生成すると、プロセッサ11は、通信部15を通じて、OCR中間情報及び荷物画像を制御装置20に送信する。
【0080】
次に、制御装置20が実現する機能について説明する。制御装置20が実現する機能は、プロセッサ21が内部メモリ、ROM22又はNVM24などに格納されるプログラムを実行することで実現される。
【0081】
プロセッサ21は、宛先情報を区分装置2に送信する機能を有する。
OCR装置10から宛先情報を受信した場合、プロセッサ21は、通信部25を通じて、受信された宛先情報を区分装置2に送信する。
【0082】
また、OCR装置10からOCR中間情報及び荷物画像を受信した場合、プロセッサ21は、通信部25を通じて、OCR中間情報及び荷物画像をVCS30に送信する。
【0083】
後述するように、VCS30は、荷物画像の帳票に記載されている宛先を示す宛先情報を制御装置20に送信する。
【0084】
プロセッサ21は、通信部25を通じて、宛先情報をVCS30から受信する。VCS30から宛先情報を受信すると、プロセッサ21は、通信部25を通じて、受信された宛先情報を区分装置2に送信する。
【0085】
次に、VCS30が実現する機能について説明する。VCS30が実現する機能は、プロセッサ21が内部メモリ、ROM22又はNVM24などに格納されるプログラムを実行することで実現される。
【0086】
まず、プロセッサ31は、荷物画像から帳票が写る画像(帳票画像)を抽出する機能を有する。
【0087】
ここでは、プロセッサ31は、通信部35を通じてOCR中間情報及び荷物画像を制御装置20から受信したものとする。
【0088】
OCR中間情報及び荷物画像を受信すると、プロセッサ31は、OCR中間情報が帳票情報を含むかを判定する。OCR中間情報が帳票情報を含むと判定すると、プロセッサ31は、OCR中間情報の帳票情報に基づいて、荷物画像に帳票領域を設定する。帳票領域を設定すると、プロセッサ31は、帳票領域の内部の画像を帳票画像として取得する。
【0089】
図7は、プロセッサ31が抽出した帳票画像の例を示す。
図7が示す例では、プロセッサ31は、帳票画像201乃至203を抽出する。帳票画像201乃至203は、それぞれ帳票101乃至103を含む。また、帳票画像201乃至203には、文字行領域301乃至303が設定されている。
【0090】
また、プロセッサ31は、OCR中間情報に基づいて、帳票画像201乃至203を補正する機能を有する。
【0091】
プロセッサ31は、オペレータの視認性が向上するように帳票画像の表示方法を補正した画像を生成する。ここでは、プロセッサ31は、帳票画像の大きさ及び角度を補正した画像を生成する。
【0092】
たとえば、プロセッサ31は、OCR中間情報の文字行情報に基づいて、帳票画像における文字行領域の高さを取得する。たとえば、プロセッサ11は、「文字行のサイズ」などに基づいて、文字行領域の高さを取得する。
【0093】
文字行領域の高さを取得すると、プロセッサ31は、文字行領域の高さが所定の値(たとえば、画面表示の基準となる文字行の高さ)となるように帳票画像を拡大又は縮小する倍率を算出する。倍率を算出すると、プロセッサ31は、当該倍率に従って帳票画像の大きさを補正する。
【0094】
帳票画像の大きさを補正すると、プロセッサ31は、「文字行の角度」に基づいて帳票画像の角度を補正する。ここでは、プロセッサ31は、文字行領域の一辺(たとえば、長辺)が所定の傾き、例えば水平となるように、帳票画像の傾き(角度)を補正する。なお、プロセッサ31は、「文字行の角度」と「帳票の角度」との相対角度に基づいて帳票画像の角度を補正してもよい。
【0095】
また、プロセッサ31は、帳票画像の角度を補正してから、帳票画像の大きさを補正してもよい。
【0096】
図8は、プロセッサ31が補正した帳票画像の例を示す。
図8が示す例では、プロセッサ31は、帳票画像201乃至203をそれぞれ補正して、補正後の帳票画像201’乃至203’を生成する。
【0097】
補正後の帳票画像201’乃至203’における文字行領域の高さは、所定の値に揃っている。また、補正後の帳票画像201’は、文字行領域の長辺が所定の傾き、例えば水平となるように補正されている。
【0098】
なお、1つの帳票画像に複数の文字行領域が設定されている場合、プロセッサ31は、複数の文字行領域の高さの平均又は最小値を文字行領域の高さとして取得してもよい。また、この場合、プロセッサ31は、複数の文字行領域の角度の平均値に基づいて、帳票画像の角度を補正してもよい。
【0099】
また、プロセッサ31は、補正後の帳票画像を表示して、オペレータから宛先の入力を受け付ける機能を有する。
【0100】
帳票画像を補正すると、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに補正後の帳票画像を表示させる。即ち、プロセッサ31は、入出力装置40の表示部42に補正後の帳票画像を表示させる。
【0101】
表示部42が補正後の帳票画像を表示させると、オペレータは、補正後の帳票画像を目視して帳票に記載されている宛先を入出力装置40の操作部41に入力する。
【0102】
プロセッサ31は、入出力インターフェース36を通じて、操作部41に入力された宛先を取得する。
【0103】
宛先を取得すると、プロセッサ31は、取得された宛先を示す宛先情報を生成する。宛先情報を生成すると、プロセッサ31は、通信部35を通じて、生成された宛先情報を制御装置20へ送信する。
【0104】
なお、OCR中間情報が帳票情報を含まない場合、プロセッサ31は、入出力インターフェース36を通じて、入出力装置40の1つに荷物画像を表示させる。ここで、オペレータは、荷物画像を目視して帳票に記載されている宛先を入出力装置40の操作部41に入力する。
【0105】
プロセッサ31は、入出力インターフェース36を通じて、操作部41に入力された宛先を取得する。宛先を取得すると、プロセッサ31は、取得された宛先を示す宛先情報を生成する。宛先情報を生成すると、プロセッサ31は、通信部35を通じて、生成された宛先情報を制御装置20へ送信する。
【0106】
次に、VCS30の動作例について説明する。
図9は、VCS30の動作例について説明するためのフローチャートである。
【0107】
まず、VCS30のプロセッサ31は、通信部35を通じてOCR中間情報及び荷物画像を制御装置20から受信する(S11)。OCR中間情報及び荷物画像を制御装置20から受信すると、プロセッサ31は、OCR中間情報が帳票情報を含むかを判定する(S12)。
【0108】
OCR中間情報が帳票情報を含むと判定すると(S12、YES)、プロセッサ31は、OCR中間情報が含む帳票情報に基づいて、荷物画像から帳票画像を抽出する(S13)。帳票画像を抽出すると、プロセッサ31は、OCR中間情報に基づいて帳票画像の大きさ及び傾きを補正する(S14)。
【0109】
帳票画像の大きさ及び傾きを補正すると、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに補正後の帳票画像を表示させる(S15)。入出力装置40の1つに補正後の帳票画像を表示させると、プロセッサ31は、入出力インターフェース36を通じて、オペレータから宛先の入力を受け付ける(S16)。
【0110】
OCR中間情報が帳票情報を含まないと判定すると(S12、NO)、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに荷物画像を表示させる(S17)。入出力装置40の1つに荷物画像を表示させると、プロセッサ31は、入出力インターフェース36を通じて、オペレータから宛先の入力を受け付ける(S18)。
【0111】
オペレータから宛先の入力を受け付ける(S16又はS18)と、プロセッサ31は、通信部35を通じて、S16又はS18で入力された宛先を示す宛先情報を制御装置20に送信する(S19)。
宛先情報を制御装置20に送信すると、プロセッサ31は、動作を終了する。
【0112】
なお、プロセッサ31は、帳票情報に基づいて帳票画像を補正してもよい。たとえば、プロセッサ31は、帳票情報が示す「帳票のサイズ」及び「帳票の角度」に基づいて帳票画像の大きさ及び角度を補正してもよい。また、プロセッサ31は、帳票情報に基づいて帳票画像の大きさ及び角度を補正した後に、さらに文字行情報に基づいて帳票画像の大きさ及び角度を補正してもよい。
【0113】
また、OCR中間情報は、文字行領域の頂点座標を示す文字行情報を含むものであってもよい。この場合、プロセッサ31は、文字行領域の頂点座標から文字行領域の高さ及び角度を算出してもよい。
【0114】
また、認識システム1は、複数のカメラ4及び複数のOCR装置10を備えるものであってもよい。また、認識システム1は、複数のVCS30を備えるものであってもよい。
【0115】
以上のように構成された認識システムは、OCR処理の過程で生成されたOCR中間情報をVCSに送信する。認識システムは、OCR中間情報に基づいて、オペレータが視認しやすくなるように帳票画像を補正する。その結果、認識システムは、オペレータが文字行を視認しやすい画像を表示することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
第2の実施形態に係る認識システム1は、制御装置20が荷物画像から帳票画像を抽出する点で第1の実施形態に係るそれと異なる。従って、その他の点については同一の符号付して詳細な説明を省略する。
【0116】
第2の実施形態に係る認識システム1の構成は、第1の実施形態のそれと同様であるため説明を省略する。
【0117】
次に、制御装置20が実現する機能について説明する。制御装置20が実現する機能は、プロセッサ21が内部メモリ、ROM22又はNVM24などに格納されるプログラムを実行することで実現される。制御装置20が実現する機能は、第1の実施形態に係る制御装置20が実現する機能に加えて以下の機能を実現する。
【0118】
プロセッサ21は、OCR中間情報及び帳票画像をVCS30に送信する機能を有する。
前述の通り、プロセッサ21は、通信部25を通じて、OCR装置10からOCR中間情報及び荷物画像を受信する。OCR中間情報及び荷物画像を受信すると、プロセッサ21は、OCR中間情報が帳票情報を含むかを判定する。
【0119】
OCR中間情報が帳票情報を含むと判定すると、プロセッサ21は、OCR中間情報の帳票情報に基づいて、荷物画像に帳票領域を設定する。帳票領域を設定すると、プロセッサ31は、帳票領域の内部の画像を帳票画像として取得する。
【0120】
帳票画像を取得すると、プロセッサ21は、通信部25を通じて、OCR中間情報及び帳票画像をVCS30に送信する。
【0121】
なお、OCR中間情報が帳票情報を含まないと判定すると、プロセッサ21は、通信部25を通じて、荷物画像をVCS30に送信する。この場合、プロセッサ21は、OCR中間情報をVCS30に送信しなくともよい。
【0122】
次に、VCS30が実現する機能について説明する。VCS30が実現する機能は、プロセッサ21が内部メモリ、ROM22又はNVM24などに格納されるプログラムを実行することで実現される。VCS30が実現する機能は、第1の実施形態に係るVCS30が実現する機能に加えて以下の機能を実現する。
【0123】
プロセッサ31は、制御装置20からデータに応じて宛先情報を制御装置20に送信する機能を有する。
【0124】
プロセッサ31は、通信部35を通じて、データを制御装置20から受信する。
データがOCR中間情報及び帳票画像を含む場合、プロセッサ31は、OCR中間情報に基づいて帳票画像を補正する。プロセッサ31が帳票画像を補正する動作例は、第1の実施形態のそれと同様であるため説明を省略する。
【0125】
帳票画像を補正すると、第1の実施形態と同様に、プロセッサ31は、補正後の帳票画像を表示して、オペレータから宛先の入力を受け付ける。宛先の入力を受け付けると、プロセッサ31は、通信部35を通じて、入力された宛先を示す宛先情報を制御装置20に送信する。
【0126】
また、データが荷物画像を含む場合、第1の実施形態と同様に、プロセッサ31は、荷物画像を表示して、オペレータから宛先の入力を受け付ける。宛先の入力を受け付けると、プロセッサ31は、通信部35を通じて、入力された宛先を示す宛先情報を制御装置20に送信する。
【0127】
次に、制御装置20の動作例について説明する。
図10は、制御装置20の動作例について説明するためのフローチャートである。
【0128】
まず、制御装置20のプロセッサ21は、通信部25を通じてOCR中間情報及び荷物画像をOCR装置10から受信する(S21)。OCR中間情報及び荷物画像をOCR装置10から受信すると、プロセッサ21は、OCR中間情報が帳票情報を含むかを判定する(S22)。
【0129】
OCR中間情報が帳票情報を含むと判定すると(S22、YES)、プロセッサ21は、OCR中間情報が含む帳票情報に基づいて、荷物画像から帳票画像を抽出する(S23)。帳票画像を抽出すると、プロセッサ21は、通信部25を通じて、OCR中間情報及び帳票画像をVCS30に送信する(S24)。
【0130】
OCR中間情報が帳票情報を含まないと判定すると(S22、NO)、プロセッサ21は、通信部25を通じて、荷物画像をVCS30に送信する(S25)。
【0131】
OCR中間情報及び帳票画像をVCS30に送信した場合(S24)、又は、荷物画像をVCS30に送信した場合(S25)、プロセッサ21は、通信部25を通じて宛先情報をVCS30から受信するまで待機する。
【0132】
宛先情報をVCS30から受信すると(S26)、プロセッサ21は、通信部25を通じて宛先情報を区分装置2に送信する(S27)。
宛先情報を区分装置2に送信すると、プロセッサ21は、動作を終了する。
【0133】
次に、VCS30の動作例について説明する。
図11は、VCS30の動作例について説明するためのフローチャートである。
【0134】
まず、VCS30のプロセッサ31は、通信部35を通じてデータを制御装置20から受信する(S31)。データを制御装置20から受信すると、プロセッサ31は、データがOCR中間情報及び帳票情報を含むかを判定する(S32)。
【0135】
データがOCR中間情報及び帳票情報を含むと判定すると(S32、YES)、プロセッサ31は、OCR中間情報に基づいて帳票画像の大きさ及び傾きを補正する(S33)。
【0136】
帳票画像の大きさ及び傾きを補正すると、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに補正後の帳票画像を表示させる(S34)。入出力装置40の1つに補正後の帳票画像を表示させると、プロセッサ31は、入出力インターフェース36を通じて、オペレータから宛先の入力を受け付ける(S35)。
【0137】
データがOCR中間情報及び帳票情報を含まない(荷物画像を含む)と判定すると(S32、NO)、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに荷物画像を表示させる(S36)。入出力装置40の1つに荷物画像を表示させると、プロセッサ31は、入出力インターフェース36を通じて、オペレータから宛先の入力を受け付ける(S37)。
【0138】
オペレータから宛先の入力を受け付ける(S35又はS37)と、プロセッサ31は、通信部35を通じて、S35又はS37で入力された宛先を示す宛先情報を制御装置20に送信する(S38)。
宛先情報を制御装置20に送信すると、プロセッサ31は、動作を終了する。
【0139】
以上のように構成された認識システムは、制御装置において帳票画像を抽出してVCSに送信する。その結果、認識システムは、制御装置とVCSとの間の通信量を抑制することができる。
(第3の実施形態)
次に、第3の実施形態について説明する。
第3の実施形態に係る認識システム1は、オペレータに宛先を入力する帳票を選択させる点で第1の実施形態のそれと異なる。従って、その他の点については同一の符号付して詳細な説明を省略する。
【0140】
第3の実施形態に係る認識システム1の構成は、第1の実施形態のそれと同様であるため説明を省略する。
【0141】
次に、VCS30が実現する機能について説明する。VCS30が実現する機能は、プロセッサ21が内部メモリ、ROM22又はNVM24などに格納されるプログラムを実行することで実現される。VCS30が実現する機能は、第1の実施形態に係るVCS30が実現する機能に加えて以下の機能を実現する。
【0142】
まず、プロセッサ31は、宛先を入力する帳票の選択を受け付ける機能を有する。
たとえば、帳票画像を補正すると、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに帳票の選択を受け付ける画面(選択画面)を表示させる。
【0143】
図12は、入出力装置40が表示する選択画面の例を示す。
図12が示すように、選択画面は、荷物画像200に帳票を選択するアイコン401乃至403を重ねて表示する。
図12が示す例では、選択画面は、帳票101乃至103上にそれぞれ数値を含むアイコン401乃至403を表示する。
【0144】
オペレータは、帳票を選択する操作として、操作部41を通じてアイコン401乃至403の何れかへのタップを入力又は数値を入力する。
プロセッサ31は、操作部41を通じて、オペレータから帳票を選択する操作の入力を受け付ける。
【0145】
また、プロセッサ31は、選択された帳票に対応する補正後の帳票画像を表示して、オペレータから宛先の入力を受け付ける機能を有する。
【0146】
帳票の選択を受け付けると、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに、選択された帳票に対応する補正後の帳票画像を表示させる。即ち、プロセッサ31は、入出力装置40の表示部42に、選択された帳票に対応する補正後の帳票画像を表示させる。
【0147】
表示部42が選択された帳票に対応する補正後の帳票画像を表示させると、オペレータは、選択された帳票に対応する補正後の帳票画像を目視して帳票に記載されている宛先を入出力装置40の操作部41に入力する。
【0148】
プロセッサ31は、入出力インターフェース36を通じて、操作部41に入力された宛先を取得する。
【0149】
宛先を取得すると、プロセッサ31は、取得された宛先を示す宛先情報を生成する。宛先情報を生成すると、プロセッサ31は、通信部35を通じて、生成された宛先情報を制御装置20へ送信する。
【0150】
次に、VCS30の動作例について説明する。
図13は、VCS30の動作例について説明するためのフローチャートである。
【0151】
まず、VCS30のプロセッサ31は、通信部35を通じてOCR中間情報及び荷物画像を制御装置20から受信する(S41)。OCR中間情報及び荷物画像を制御装置20から受信すると、プロセッサ31は、OCR中間情報が帳票情報を含むかを判定する(S42)。
【0152】
OCR中間情報が帳票情報を含むと判定すると(S42、YES)、プロセッサ31は、OCR中間情報が含む帳票情報に基づいて、荷物画像から帳票画像を抽出する(S43)。帳票画像を抽出すると、プロセッサ31は、OCR中間情報に基づいて帳票画像の大きさ及び傾きを補正する(S44)。
【0153】
帳票画像の大きさ及び傾きを補正すると、プロセッサ31は、入出力インターフェース36を通じて帳票を選択する操作の入力を受け付ける(S45)。帳票を選択する操作の入力を受け付けると、プロセッサ31は、入出力装置40の1つに選択された帳票に対応する補正後の帳票画像を表示させる(S46)。
【0154】
入出力装置40の1つに選択された帳票に対応する補正後の帳票画像を表示させると、プロセッサ31は、入出力インターフェース36を通じて、オペレータから宛先の入力を受け付ける(S47)。
【0155】
OCR中間情報が帳票情報を含まないと判定すると(S42、NO)、プロセッサ31は、入出力インターフェース36を通じて入出力装置40の1つに荷物画像を表示させる(S48)。入出力装置40の1つに荷物画像を表示させると、プロセッサ31は、入出力インターフェース36を通じて、オペレータから宛先の入力を受け付ける(S49)。
【0156】
オペレータから宛先の入力を受け付ける(S47又はS49)と、プロセッサ31は、通信部35を通じて、S47又はS49で入力された宛先を示す宛先情報を制御装置20に送信する(S50)。
宛先情報を制御装置20に送信すると、プロセッサ31は、動作を終了する。
【0157】
なお、プロセッサ31は、複数の帳票を選択する操作の入力を受け付けてもよい。たとえば、プロセッサ31は、1つの帳票に記載されている宛先の入力を受け付けると、再度、帳票を選択する操作の入力を受け付けてもよい。即ち、プロセッサ31は、オペレータの操作に従って、S45乃至S47を複数回繰り返してもよい。
【0158】
また、認識システム1は、第2の実施形態に係る認識システム1の特徴を備えるものであっても良い。
【0159】
以上のように構成された認識システムは、オペレータの操作に従って帳票を選択する。認識システムは、選択された帳票に対応する補正後の帳票画像を表示してオペレータから宛先の入力を受け付ける。その結果、認識システムは、オペレータの入力効率を向上させることができる。
【0160】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0161】
1…認識システム、2…区分装置、3…管理装置、4…カメラ、10…OCR装置、11…プロセッサ、12…ROM、13…RAM、14…NVM、15…通信部、16…操作部、17…表示部、18…カメラインターフェース、20…制御装置、21…プロセッサ、22…ROM、23…RAM、24…NVM、25…通信部、26…操作部、27…表示部、30…VCS、31…プロセッサ、32…ROM、33…RAM、34…NVM、35…通信部、36…入出力インターフェース、40…入出力装置、41…操作部、42…表示部、100…荷物、101…帳票、102…帳票、103…帳票、200…荷物画像、201…帳票画像、201’…帳票画像、202…帳票画像、203…帳票画像、203’…帳票画像、301…文字行領域、302…文字行領域、303…文字行領域、401…アイコン、402…アイコン、403…アイコン。