(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 11/34 20060101AFI20240729BHJP
G06F 11/07 20060101ALI20240729BHJP
G06F 11/30 20060101ALI20240729BHJP
H04Q 9/00 20060101ALI20240729BHJP
【FI】
G06F11/34 138
G06F11/07 193
G06F11/30 140D
H04Q9/00 311K
(21)【出願番号】P 2020148392
(22)【出願日】2020-09-03
【審査請求日】2023-06-13
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】藤井 和也
(72)【発明者】
【氏名】佐藤 昌孝
【審査官】武田 広太郎
(56)【参考文献】
【文献】特開2016-218836(JP,A)
【文献】特開2016-184358(JP,A)
【文献】特開2010-009410(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 11/34
G06F 11/07
G06F 11/30
H04Q 9/00
G06F 11/36
(57)【特許請求の範囲】
【請求項1】
物品を区分する区分機に接続された操作装置から画像を取得する画像インターフェースと、
前記操作装置に操作を入力する入力インターフェースと、
前記画像インターフェースを通じて取得した前記画像に対して文字認識処理を行い、 前記文字認識処理の結果に基づいて
前記区分機に関するアラートを検出し、
前記入力インターフェースを通じて、検出された前記アラートに対応する処理を行うための操作信号を前記操作装置に入力する、
プロセッサと、
を備える情報処理装置。
【請求項2】
操作装置から画像を取得する画像インターフェースと、
前記操作装置に操作を入力する入力インターフェースと、
前記画像インターフェースを通じて取得した前記画像に対して文字認識処理を行い、 前記文字認識処理の結果に基づいてアラートを検出し、
前記入力インターフェースを通じて、検出された前記アラートに対応する処理を行うための操作信号を前記操作装置に入力する、
プロセッサと、
を備え、
前記プロセッサは、
前記画像が宛先の入力を受け付ける画像である場合、前記画像に含まれる宛先画像に対して文字認識処理を行い、前記文字認識処理の結果に基づいて宛先を取得し、前記入力インターフェースを通じて前記宛先を入力する操作信号を前記操作装置に入力し、
前記画像が宛先の入力を受け付ける画像でない場合、前記アラートを検出する、情報処理装置。
【請求項3】
各アラートに対応する処理を示すアラートテーブルを格納する記憶部を備え、
前記プロセッサは、前記アラートテーブルを参照して、検出された前記アラートに対応する処理を特定する、
請求項1
又は2に記載の情報処理装置。
【請求項4】
前記プロセッサは、前記アラートを検出すると、前記アラートが出力されていることを報知する、
請求項1
乃至3の何れか1項に記載の情報処理装置。
【請求項5】
前記プロセッサは、検出された前記アラートに対応する処理を行うための前記操作信号を入力した後に前記アラートが消失しない場合、エラーを報知する、
請求項1乃至
4の何れか1項に記載の情報処理装置。
【請求項6】
前記プロセッサは、前記画像において前記アラートが表示される領域に対して前記文字認識処理を行う、
請求項1乃至
5の何れか1項に記載の情報処理装置。
【請求項7】
前記入力インターフェースは、操作端末をエミュレーションするエミュレータに接続する、
請求項1乃至
6の何れか1項に記載の情報処理装置。
【請求項8】
前記エミュレータは、マウス又はキーボードをエミュレーションする、
請求項
7に記載の情報処理装置。
【請求項9】
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
物品を区分する区分機に接続された操作装置からの画像に対して文字認識処理を行う機能と、
前記文字認識処理の結果に基づいて
前記区分機に関するアラートを検出する機能と、
検出された前記アラートに対応する処理を行うための操作信号を操作装置に入力する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置及びプログラムを関する。
【背景技術】
【0002】
紙葉類処理装置などの処理装置は、エラーが生じた場合などに、操作装置を通じてアラートを出力することがある。オペレータは、出力されたアラートに対応する所定の処理を行うための操作を操作装置に入力する。
【0003】
アラートに対応する処理を自動化するためには、ソフトウェアの修正又はインターフェースなどの機器の追加など、処理装置を改変する必要がある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の課題を解決するため、アラートに対応する処理を効果的に自動化することができる情報処理装置及びプログラムを提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、情報処理装置は、画像インターフェースと、入力インターフェースと、プロセッサと、を備える。画像インターフェースは、操作装置から画像を取得する。入力インターフェースは、前記操作装置に操作を入力する。プロセッサは、前記画像インターフェースを通じて取得した前記画像に対して文字認識処理を行い、前記文字認識処理の結果に基づいてアラートを検出し、前記入力インターフェースを通じて、検出された前記アラートに対応する処理を行うための操作信号を前記操作装置に入力する。
【図面の簡単な説明】
【0007】
【
図1】
図1は、第1の実施形態に係るアラートシステムの構成例を示すブロック図である。
【
図2】
図2は、第1の実施形態に係る操作装置の構成例を示すブロック図である。
【
図3】
図3は、第1の実施形態に係るOCR装置の構成例を示すブロック図である。
【
図4】
図4は、第1の実施形態に係るアラートテーブルの構成例を示す図である。
【
図5】
図5は、第1の実施形態に係るOCR装置の動作例を示す図である。
【
図6】
図6は、第1の実施形態に係るOCR装置の動作例を示す図である。
【
図7】
図7は、第1の実施形態に係るOCR装置の動作例を示す図である。
【
図8】
図8は、第1の実施形態に係るOCR装置の動作例を示すフローチャートである。
【
図9】
図9は、第2の実施形態に係るOCR装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照して説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。
実施形態に係るアラートシステムは、処理装置に関するアラートを処理する。アラートシステムは、アラートを検出すると、アラートに対応する処理を特定する。アラートシステムは、特定された処理を実行する。
【0009】
図1は、実施形態に係るアラートシステム1の構成例を示す。
図1が示すように、アラートシステム1は、処理装置2、表示端末3、エミュレータ4、キャプチャボード5、通信端末6、表示端末7、操作端末8、操作装置10及びOCR装置20などを備える。
【0010】
操作装置10は、処理装置2、表示端末3、エミュレータ4及びキャプチャボード5に接続する。OCR装置20は、エミュレータ4、キャプチャボード5、通信端末6、表示端末7及び操作端末8と接続する。
【0011】
なお、アラートシステム1は、
図1が示すような構成の他に必要に応じた構成をさらに具備したり、アラートシステム1から特定の構成が除外されたりしてもよい。
【0012】
処理装置2は、所定の処理を行う装置である。処理装置2は、操作装置10からの制御に従って動作する。また、処理装置2は、種々の情報を操作装置10に表示させる。ここでは、処理装置2は、エラーが発生すると、アラートを操作装置10に表示させる。
【0013】
たとえば、処理装置2は、紙葉類処理装置である。また、処理装置2は、たとえば、処理装置2は、郵便又は荷物などを区分する区分機であってもよい。
【0014】
操作装置10は、処理装置2を制御するための操作の入力を受け付ける。たとえば、操作装置10は、キーボード又はマウスなどの操作装置を通じてオペレータからの操作の入力を受け付けることができる。
【0015】
また、操作装置10は、処理装置2からの種々の情報を表示する。操作装置10は、表示端末3及びキャプチャボード5に対して、種々の情報を含む画像(表示画像)を供給する。たとえば、操作装置10は、スプリッタなどを通じて、表示端末3及びキャプチャボード5に画像を供給する。
操作装置10については、後に詳述する。
【0016】
表示端末3は、操作装置10からの制御に従って画像を表示する。即ち、表示端末3は、操作装置10からの供給される画像(画像データ)を表示する。たとえば、表示端末3は、液晶モニタなどである。
【0017】
エミュレータ4は、操作装置10に接続するキーボード又はマウスなどの操作端末をエミュレーションする。エミュレータ4は、OCR装置20からの制御に従ってオペレータが操作端末を通じて入力する操作信号と同様の操作信号を操作装置10に供給する。たとえば、エミュレータ4は、マウスの移動若しくはクリック、又は、キーボード入力などを示す操作信号を操作装置10に供給する。
【0018】
キャプチャボード5は、操作装置10が供給する画像(表示画像)を取得する。キャプチャボード5は、取得された表示画像をOCR装置20に供給する。
【0019】
通信端末6は、外部装置とデータを送受信するためのインターフェースである。たとえば、通信端末6は、オペレータが所持する装置又はオペレータが目視している装置などとデータを送受信する。たとえば、通信端末6は、有線又は無線のLAN(Local Area Network)接続をサポートする。
【0020】
表示端末7は、OCR装置20からの制御に従って情報を表示する。即ち、表示端末7は、OCR装置20からの供給される情報を表示する。たとえば、表示端末7は、液晶モニタなどである。また、表示端末7は、LED(Light Emitting Diode)などのランプから構成されるものであってもよい。
【0021】
操作端末8は、オペレータから種々の操作の入力を受け付ける。操作端末8は、入力された操作を示す信号をOCR装置20へ送信する。操作端末8は、キーボード又はマウスなどから構成される。
【0022】
OCR装置20(情報処理装置)は、キャプチャボード5からの表示画像に対してOCR(Optical Character Recognition)処理(文字認識処理)を行う。OCR装置20は、OCR処理の結果に基づいてアラートを検出する。また、OCR装置20は、検出されたアラートに対応する処理を実行する。即ち、OCR装置20は、エミュレータ4を用いてアラートに対応する処理を行うための操作信号を操作装置10に入力する。OCR装置20については、後に詳述する。
【0023】
次に、操作装置10について説明する。
図2は、実施形態に係る操作装置10の構成例を示す。
図2は、操作装置10の構成例を示すブロック図である。
図2が示すように、操作装置10は、プロセッサ11、ROM12、RAM13、NVM14、通信部15、表示インターフェース16及び操作インターフェース17などを備える。
【0024】
プロセッサ11と、ROM12、RAM13、NVM14、通信部15、表示インターフェース16及び操作インターフェース17と、は、データバスなどを介して互いに接続する。
なお、操作装置10は、
図2が示すような構成の他に必要に応じた構成を具備したり、操作装置10から特定の構成が除外されたりしてもよい。
【0025】
プロセッサ11は、操作装置10全体の動作を制御する機能を有する。プロセッサ11は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ11は、内部メモリ、ROM12又はNVM14が予め記憶するプログラムを実行することにより種々の処理を実現する。
【0026】
なお、プロセッサ11がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ11は、ハードウエア回路により実行される機能を制御する。
【0027】
ROM12は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM12に記憶される制御プログラム及び制御データは、操作装置10の仕様に応じて予め組み込まれる。
【0028】
RAM13は、揮発性のメモリである。RAM13は、プロセッサ11の処理中のデータなどを一時的に格納する。RAM13は、プロセッサ11からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM13は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0029】
NVM14は、データの書き込み及び書き換えが可能な不揮発性のメモリである。たとえば、NVM14は、たとえば、HDD、SSD又はフラッシュメモリなどから構成される。NVM14は、操作装置10の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【0030】
通信部15は、処理装置2とデータを送受信するためのインターフェースである。たとえば、通信部15は、有線又は無線のLAN接続をサポートするインターフェースである。
【0031】
表示インターフェース16は、表示端末3及びキャプチャボード5とデータを送受信するインターフェースである。表示インターフェース16は、プロセッサ11からの制御に従って、表示画像を表示端末3及びキャプチャボード5に送信する。
【0032】
操作インターフェース17は、操作の入力を受け付ける入力装置とデータを送受信するためのインターフェースである。たとえば、操作インターフェース17は、キーボード又はマウスなどの操作端末に入力される操作を示す操作信号を受信する。操作インターフェース17は、受信された操作信号をプロセッサ21に供給する。たとえば、操作インターフェース17は、USB(Universal Serial Bus)接続をサポートする。
【0033】
ここでは、操作インターフェース17は、エミュレータ4に接続する。即ち、操作インターフェース17は、エミュレータ4からの操作信号を受信する。
たとえば、操作装置10は、デスクトップPC又はノートPCなどである。
【0034】
操作装置10のプロセッサ11は、処理装置2からの信号に基づいてアラートが表示される表示画像を表示端末3及びキャプチャボード5に出力する。たとえば、プロセッサ11は、処理装置2からの信号に基づいて処理装置2に生じたエラーなどを特定する。プロセッサ11は、特定されたエラーに対応するアラートが表示される表示画像を出力する。
【0035】
また、プロセッサ11は、操作インターフェース17に入力される操作信号に基づいて処理装置2を制御する。たとえば、プロセッサ11は、処理装置2に対してリセット、一時停止又は停止などの処理を行う。なお、プロセッサ11が処理装置2に対して行う処理は、特定の構成に限定されるものではない。
【0036】
次に、OCR装置20について説明する。
図3は、実施形態に係るOCR装置20の構成例を示す。
図3は、OCR装置20の構成例を示すブロック図である。
図3が示すように、OCR装置20は、プロセッサ21、ROM22、RAM23、NVM24、エミュレータインターフェース25、画像インターフェース26、通信インターフェース27、表示インターフェース28及び操作インターフェース29などを備える。
【0037】
プロセッサ21と、ROM22、RAM23、NVM24、エミュレータインターフェース25、画像インターフェース26、通信インターフェース27、表示インターフェース28及び操作インターフェース29と、は、データバスなどを介して互いに接続する。
なお、OCR装置20は、
図3が示すような構成の他に必要に応じた構成を具備したり、OCR装置20から特定の構成が除外されたりしてもよい。
【0038】
プロセッサ21は、OCR装置20全体の動作を制御する機能を有する。プロセッサ21は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ21は、内部メモリ、ROM22又はNVM24が予め記憶するプログラムを実行することにより種々の処理を実現する。
【0039】
なお、プロセッサ21がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ21は、ハードウエア回路により実行される機能を制御する。
【0040】
ROM22は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM22に記憶される制御プログラム及び制御データは、OCR装置20の仕様に応じて予め組み込まれる。
【0041】
RAM23は、揮発性のメモリである。RAM23は、プロセッサ21の処理中のデータなどを一時的に格納する。RAM23は、プロセッサ21からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM23は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【0042】
NVM24(記憶部)は、データの書き込み及び書き換えが可能な不揮発性のメモリである。たとえば、NVM24は、たとえば、HDD、SSD又はフラッシュメモリなどから構成される。NVM24は、OCR装置20の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【0043】
NVM24は、各アラートに対応する処理を示すアラートテーブルを格納する。アラートテーブルについては、後述する。
【0044】
エミュレータインターフェース25(入力インターフェース)は、エミュレータ4とデータを送受信するインターフェースである。エミュレータインターフェース25は、プロセッサ21からの制御に従ってエミュレータ4に操作信号を操作装置10へ出力させる。たとえば、エミュレータインターフェース25は、USB接続をサポートする。
【0045】
画像インターフェース26は、キャプチャボード5とデータを送受信するインターフェースである。画像インターフェース26は、キャプチャボード5から表示画像を取得する。画像インターフェース26は、取得された表示画像をプロセッサ21に供給する。
【0046】
通信インターフェース27は、通信端末6とデータを送受信するインターフェースである。通信インターフェース27は、プロセッサ21からの制御に従って通信端末6に外部装置とデータを送受信させる。
【0047】
表示インターフェース28は、表示端末7とデータを送受信するインターフェースである。表示インターフェース28は、プロセッサ11からの制御に従って、表示端末7に情報を表示させる。
【0048】
操作インターフェース29は、操作端末8とデータを送受信するインターフェースである。操作インターフェース29は、操作端末8に入力される操作を示す操作信号を受信する。操作インターフェース29は、受信された操作信号をプロセッサ21に供給する。たとえば、操作インターフェース29は、USB接続をサポートする。
【0049】
たとえば、OCR装置20は、デスクトップPC又はノートPCなどである。
なお、エミュレータインターフェース25、画像インターフェース26、通信インターフェース27、表示インターフェース28及び操作インターフェース29(又はこれらの一部)は、一体的に形成されるものであってもよい。
【0050】
次に、アラートテーブルについて説明する。
前述の通り、アラートテーブルは、各アラートに対応する処理を示す。
【0051】
図4は、アラートテーブルの構成例を示す。
図4が示すように、アラートテーブルは、「アラートコード」、「内容」及び「対処法」を対応付けて格納する。
【0052】
「アラートコード」は、処理装置2に関するアラートを特定するコードである。ここでは、「アラートコード」は、テキスト及び数値から構成される。なお、「アラートコード」は、テキスト、数値、記号又はそれらの組合せから構成されるものであってもよい。
【0053】
「内容」は、対応する「アラートコード」が特定するアラートの内容を示す。たとえば、「内容」は、エラーが生じた原因を示す。たとえば、「内容」は、「印刷部接続エラー」又は「サーマル異常」などである。
【0054】
「対処法」は、対応する「アラートコード」が特定するアラートに対応する処理を示す。たとえば、「対処法」は、「Print画像でリセット実施」又は「一時停止」などである。
【0055】
次に、OCR装置20が実現する機能について説明する。OCR装置20が実現する機能は、プロセッサ21がROM22又はNVM24などに格納されるプログラムを実行することで実現される。
【0056】
まず、プロセッサ21は、キャプチャボード5を用いて操作装置10が供給する画像(表示画像)を取得する機能を有する。
即ち、プロセッサ21は、操作装置10が表示端末3に表示させる画像を取得する。
【0057】
プロセッサ21は、画像インターフェース26を通じてキャプチャボード5に表示画像を取得させる。キャプチャボード5は、プロセッサ21からの制御に従って表示画像を取得する。キャプチャボード5は、画像インターフェース26を通じて、取得された表示画像をプロセッサ21に供給する。
【0058】
たとえば、プロセッサ21は、所定の間隔(たとえば、1秒)で表示画像を取得する。また、プロセッサ21は、表示画像に変化が生じた場合に、表示画像を取得してもよい。この場合、プロセッサ21は、画像処理アルゴリズムなどに従って表示画像に変化が生じたかを判定してもよい。
【0059】
また、プロセッサ21は、OCR処理によりアラートを検出する機能を有する。
図5は、プロセッサ21がアラートを検出する動作例を説明するための図である。
図5は、表示画像30を示す。
図5が示す例では、表示画像30は、Main画像を表示する。
【0060】
表示画像30は、表示領域31を含む。
表示領域31は、アラートが表示される領域である。即ち、処理装置2にエラーが生じると、操作装置10のプロセッサ11は、表示領域31にアラートを表示する。
【0061】
表示領域31は、アラートとして、アラートを示すアラートコードとアラートの内容とを表示する。ここでは、表示領域31は、アラートコードとしての「ART001」及びアラートの内容としての「印刷部接続エラー」を表示する。
【0062】
プロセッサ21は、表示画像30に対してOCR処理を行う。
たとえば、NVM24は、アラートが表示される領域として、表示領域31を示す位置(たとえば、頂点の座標など)を格納する。プロセッサ21は、NVM24を参照して、表示領域31の位置を取得する。
【0063】
プロセッサ21は、取得された位置が示す領域(即ち、表示領域31)に対してOCR処理を行う。プロセッサ21は、OCR処理の結果として、表示領域31に記載されている文字列を取得する。
【0064】
文字列を取得すると、プロセッサ21は、取得された文字列に基づいてアラートを検出する。たとえば、プロセッサ21は、アラートデータベースが示す「アラートコード」の少なくとも1つが、取得された文字列に含まれているかを判定する。「アラートコード」の少なくとも1つが、取得された文字列に含まれていると判定すると、アラートが出力されていると判定する。また、「アラートコード」のいずれも、取得された文字列に含まれていないと判定すると、アラートが出力されていないと判定する。
【0065】
なお、プロセッサ21は、アラートデータベースが示す「内容」の少なくとも1つが、取得された文字列に含まれているかを判定してもよい。「内容」の少なくとも1つが、取得された文字列に含まれていると判定すると、アラートが出力されていると判定する。また、「内容」のいずれも、取得された文字列に含まれていないと判定すると、アラートが出力されていないと判定する。
【0066】
また、プロセッサ21は、「アラートコード」又は「内容」のいずれかが、取得された文字列に含まれているかを判定してもよい。プロセッサ21が取得された文字列に基づいてアラートを検出する方法は、特定の方法に限定されるものではない。
図5が示す例では、プロセッサ21は、「ART001」のアラートを検出する。
【0067】
また、プロセッサ21は、アラートを検出すると、アラートが出力されていることを報知する機能を有する。
たとえば、プロセッサ21は、アラートを検出すると、通信端末6を通じて外部装置へアラートが出力されていることを示す信号を送信する。なお、プロセッサ21は、通信端末6を通じて外部装置へアラートを特定する信号を送信してもよい。
【0068】
また、プロセッサ21は、表示端末7にアラートが出力されていることを示す情報を表示してもよい。表示端末7が画像を表示する端末である場合、プロセッサ21は、アラートが出力されていること又はアラートを特定する情報などを表示端末7に表示する。また、表示端末7がランプである場合、プロセッサ21は、表示端末7を点灯又は点滅させてもよい。
なお、プロセッサ21がアラートを報知する方法は、特定の方法に限定されるものではない。
【0069】
また、プロセッサ21は、検出されたアラートに対応する処理を行う機能を有する。
アラートを検出すると、プロセッサ21は、アラートテーブルを参照して、アラートに対応する処理を特定する。即ち、プロセッサ21は、検出されたアラートを示す「アラートコード」又は検出されたアラートの「内容」に対応する「対処法」を取得する。
【0070】
ここでは、
図5が示す例では、プロセッサ21は、「ART001」のアラートに対応する「対処法」として「Print画像でリセット実施」を取得する。
プロセッサ21は、アラートテーブルが示す「対処法」に基づく処理を行う。
【0071】
「対処法」を取得すると、プロセッサ21は、取得された「対処法」に基づく処理を行う。ここでは、プロセッサ21は、「対処法」として「Print画像でリセット実施」を取得する。
【0072】
次に、「対処法」として「Print画像でリセット実施」を取得した場合におけるプロセッサ21の動作例について説明する。
【0073】
まず、プロセッサ21は、
図5が示す表示画像30においてポインタ32の位置(たとえば、座標)を特定する。ポインタ32は、表示画像30上で入力位置を示すカーソルである。ポインタ32は、マウスの操作に合わせて表示画像30上を移動する。
【0074】
たとえば、プロセッサ21は、所定の画像処理アルゴリズムを用いて、ポインタ32の位置を特定する。
【0075】
ポインタ32の位置を特定すると、プロセッサ21は、アイコン33の位置(たとえば、座標)を特定する。アイコン33は、Print画像に遷移するためのアイコンである。
【0076】
プロセッサ21は、所定の画像処理アルゴリズムを用いて、アイコン33の位置を特定してもよい。また、NVM24は、アイコン33の位置を予め格納するものであってもよい。この場合、プロセッサ21は、NVM24を参照してアイコン33の位置を特定する。
【0077】
アイコン33の位置を特定すると、プロセッサ21は、ポインタ32をアイコン33上に移動させる。たとえば、プロセッサ21は、ポインタ32の位置とアイコン33の位置とに基づいてポインタ32の移動方向及び移動量を算出する。ポインタ32の移動方向及び移動量を算出すると、プロセッサ21は、エミュレータ4を用いて、算出された移動方向及び移動量に基づく操作信号を操作装置10に入力する。即ち、操作信号は、当該移動方向に当該移動量、ポインタ32を移動させる信号である。
【0078】
ポインタ32をアイコン33上に移動させると、プロセッサ21は、エミュレータ4を用いて、アイコン33をクリックする操作信号(マウスをクリックする操作信号)を操作装置10に入力する。
【0079】
操作装置10のプロセッサ11は、操作インターフェース17を通じて当該操作信号の入力を受け付けると、Main画像からPrint画像に遷移する。
【0080】
図6は、Print画像を表示する表示画像30の例を示す。
図6が示す例では、表示画像30は、「1.状態」、「2.リセット」又は「3.終了」の入力を受け付ける。
【0081】
プロセッサ21は、
図6が示す表示画像30において、処理装置2をリセットする操作信号を操作装置10に入力する。たとえば、プロセッサ21は、エミュレータ4を用いて、キーボードに「2」を打鍵した操作信号を操作装置10に入力する。当該操作信号を操作装置10に入力すると、プロセッサ21は、エミュレータ4を用いて、キーボードに「エンター」を打鍵した操作信号を操作装置10に入力する。
【0082】
図7は、処理装置2のリセット後における表示画像30の例を示す。
プロセッサ21は、
図7が示す表示画像30においてアラートが消失したかを判定する。即ち、プロセッサ21は、表示領域31に対してOCR処理を行うことでアラートを検出する。
図7が示すように、表示領域31には、アラートが表示されていない。プロセッサ21は、アラートが検出できないため、アラートが消失したと判定する。
【0083】
アラートが消失したと判定すると、プロセッサ21は、
図7が示す表示画像30においてポインタ32の位置を特定する。たとえば、プロセッサ21は、所定の画像処理アルゴリズムを用いて、ポインタ32の位置を特定する。
【0084】
ポインタ32の位置を特定すると、プロセッサ21は、アイコン34の位置(たとえば、座標)を特定する。アイコン34は、Main画像に遷移するためのアイコンである。
【0085】
プロセッサ21は、所定の画像処理アルゴリズムを用いて、アイコン34の位置を特定してもよい。また、NVM24は、アイコン34の位置を予め格納するものであってもよい。この場合、プロセッサ21は、NVM24を参照してアイコン34の位置を特定する。
【0086】
アイコン34の位置を特定すると、プロセッサ21は、ポインタ32をアイコン34上に移動させる。たとえば、プロセッサ21は、ポインタ32の位置とアイコン34の位置とに基づいてポインタ32の移動方向及び移動量を算出する。ポインタ32の移動方向及び移動量を算出すると、プロセッサ21は、エミュレータ4を用いて、算出された移動方向及び移動量に基づく操作信号を操作装置10に入力する。即ち、操作信号は、当該移動方向に当該移動量、ポインタ32を移動させる信号である。
【0087】
ポインタ32をアイコン34上に移動させると、プロセッサ21は、エミュレータ4を用いて、アイコン34をクリックする操作信号(マウスをクリックする操作信号)を操作装置10に入力する。
【0088】
図7が示す表示画像30においてアラートが消失していないと判定すると、プロセッサ21は、エラーを報知する。たとえば、プロセッサ21は、通信端末6を通じて、アラートが継続していることを示す信号を外部装置に送信する。また、プロセッサ21は、アラートが継続していることを示す情報を表示端末7に表示する。なお、プロセッサ21がエラーを報知する方法は、特定の方法に限定されるものではない。
【0089】
次に、OCR装置20の動作例について説明する。
図8は、OCR装置20の動作例について説明するためのフローチャートである。
まず、プロセッサ21は、キャプチャボード5を通じて表示画像30を取得する(S11)。表示画像を取得すると、プロセッサ21は、表示画像30の表示領域31に対してOCR処理を行う(S12)。
【0090】
OCR処理を行うと、プロセッサ21は、OCR処理の結果に基づいてアラートが出力されているかを判定する(S13)。アラートが出力されていると判定すると(S13、YES)、プロセッサ21は、アラートが出力されていることを報知する(S14)。
【0091】
アラートが出力されていることを報知すると、プロセッサ21は、出力されているアラートに対応する「対処法」を特定する(S15)。「対処法」を特定すると、プロセッサ21は、特定された「対処法」に基づいてアラートに対応する処理を行う(S16)。
【0092】
アラートに対応する処理を行うと、プロセッサ21は、表示画像30の表示領域31に対してOCR処理を行う(S17)。OCR処理を行うと、プロセッサ21は、OCR処理の結果に基づいてアラートが消失したかを判定する(S18)。
【0093】
アラートが出力されていないと判定した場合(S13、NO)、又は、アラートが消失したと判定した場合(S18、YES)、プロセッサ21は、S11に戻る。
【0094】
アラートが消失していないと判定すると(S18、NO)、プロセッサ21は、エラーを報知する(S19)。エラーを報知すると、プロセッサ21は、動作を終了する。
【0095】
なお、プロセッサ21は、S14を実行しなくともよい。即ち、プロセッサ21は、アラートを報知しなくともよい。
【0096】
また、プロセッサ21は、エミュレータ4の機能を実現するものであってもよい。たとえば、プロセッサ21は、NVM24などが格納するプログラムを実行することでエミュレータ4の機能を実現する。
【0097】
また、OCR装置20は、エミュレータ4、キャプチャボード5、通信端末6、表示端末7及び操作端末8と一体的に形成されるものであってもよい。
また、アラートシステム1は、複数の操作装置10を備えてもよい。また、OCR装置20は、複数の操作装置10と接続するものであってもよい。
【0098】
以上のように構成されたOCR装置は、処理装置を制御する操作装置が出力する表示画像を取得する。OCR装置は、取得された表示画像からアラートを検出する。OCR装置は、検出されたアラートに対応する処理を行うための操作信号を操作装置に入力する。その結果、OCR装置は、処理装置及び操作装置を改変することなく、処理装置からのアラートに対する処理を自動化することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
第2の実施形態に係るアラートシステム1は、OCR装置がセカンダリOCRを行う点で第1の実施形態に係るそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。
【0099】
ここでは、処理装置2は、郵便物又は荷物などの物品をシュータなどに区分する区分機である。処理装置2は、カメラを用いて、物品の宛先面(宛先が記載されている面)を撮影する。宛先面を撮影すると、処理装置2は、所定のアルゴリズム(第1のアルゴリズム)に従って宛先面が写る画像(宛先画像)にOCR(プライマリOCR)処理を行う。
【0100】
OCR処理を行うと、処理装置2は、OCR処理の結果に基づいて物品の宛先面に記載されている宛先を取得する。宛先を取得すると、処理装置2は、取得された宛先に基づいて物品を区分する。
【0101】
OCR処理に失敗して宛先を取得できない場合、処理装置2は、宛先画像を操作装置10に送信する。
【0102】
後述するように、操作装置10は、宛先画像に含まれる宛先面に記載された宛先を処理装置2に送信する。
処理装置2は、OCR装置20から宛先を取得する。宛先を取得すると、処理装置2は、取得された宛先に基づいて物品を区分する。
【0103】
次に、操作装置10について説明する。
操作装置10は、VCS(Video Coding System)である。
操作装置10のプロセッサ11は、処理装置2から宛先面を含む宛先画像を取得する。前述の通り、処理装置2は、OCR処理に失敗すると、宛先画像を操作装置10に送信する。プロセッサ11は、通信部15を通じて処理装置2から宛先画像を取得する。
【0104】
宛先画像を取得すると、プロセッサ11は、宛先画像に写る宛先の入力を受け付ける表示画像を生成する。表示画像は、取得された宛先画像を含む。
【0105】
表示画像を生成すると、プロセッサ11は、表示インターフェース16を通じて、生成された表示画像を表示端末3及びキャプチャボード5に出力する。
【0106】
表示画像を出力すると、プロセッサ11は、操作インターフェース17を通じて宛先の入力を受け付ける。プロセッサ11は、操作インターフェース17を通じて、操作部が接続されている場合と同様の信号(キー入力操作を示す操作信号)をエミュレータ4から取得する。
【0107】
プロセッサ11は、操作インターフェース17を通じて入力が確定する操作信号(たとえば、エンターキーが押された操作信号など)を受信すると、通信部15を通じて入力された宛先を処理装置2に送信する。
【0108】
次に、OCR装置20が実現する機能について説明する。OCR装置20が実現する機能は、プロセッサ21がROM22又はNVM24などに格納されるプログラムを実行することで実現される。
【0109】
OCR装置20は、第1の実施形態に係るOCR装置20が実現する機能に加えて以下の機能を実現する。
【0110】
プロセッサ21は、OCR(セカンダリOCR)処理により表示画像から宛先を取得する機能を有する。
【0111】
表示画像を取得すると、プロセッサ21は、予め取得されたフォーマットなどに従って表示画像から宛先画像を抽出する。
宛先画像を抽出すると、プロセッサ21は、第1のアルゴリズムとは異なる所定のアルゴリズム(第2のアルゴリズム)に従って宛先画像にOCR処理を行う。第2のアルゴリズムは、第1のアルゴリズムが認識できない文字画像の少なくとも一部を認識することができる。
【0112】
OCR処理を行うと、プロセッサ21は、OCR処理の結果に基づいて物品の宛先面に記載されている宛先を取得する。
【0113】
なお、プロセッサ21は、OCR処理を行う前に、表示画像又は宛先画像に所定の処理を行ってもよい。たとえば、プロセッサ21は、表示画像又は宛先画像を拡大又は縮小してもよい。また、プロセッサ21は、表示画像又は宛先画像に対してノイズを除去する処理などを行ってもよい。
【0114】
また、プロセッサ21は、エミュレータ4を用いて、OCR処理により取得された宛先を操作装置10に入力する機能を有する。
【0115】
OCR処理により宛先を取得すると、プロセッサ21は、エミュレータ4を用いて、宛先を操作装置10の操作インターフェース17に入力する。即ち、プロセッサ21は、宛先を入力するキー入力操作を示す操作信号を操作インターフェース17に入力する。
【0116】
また、プロセッサ21は、宛先の入力を完了する操作を示す操作信号を操作インターフェース17に入力してもよい。
【0117】
また、プロセッサ21は、OCR処理に失敗した場合、操作端末8に入力された操作を示す操作信号を操作装置10に入力する機能を有する。
【0118】
OCR処理に失敗した場合、プロセッサ21は、操作装置10からの表示画像を表示端末7に表示する。表示画像を表示端末7に表示すると、プロセッサ21は、操作端末8への入力を受け付ける。
【0119】
ここで、オペレータは、表示端末7に表示される表示画像の画像領域を目視して宛先を操作端末8に入力する。宛先の入力が完了すると、オペレータは、操作端末8に、入力を完了する操作を入力する。
【0120】
操作端末8への入力を受け付けると、プロセッサ21は、エミュレータ4を用いて、入力された操作を示す操作信号を操作インターフェース17に入力する。
【0121】
また、プロセッサ21は、表示端末7に表示画像を更新してもよい。即ち、プロセッサ21は、画像インターフェース26から表示画像をリアルタイムで取得し表示端末7に表示する。
【0122】
また、プロセッサ21は、宛先画像へのOCR処理及び宛先の入力を行っていない間にアラートを検出する。たとえば、プロセッサ21は、所定のアルゴリズムに従って表示画像が宛先の入力を受け付ける画像であるかを判定する。
【0123】
表示画像が宛先の入力を受け付ける画像であると判定すると、プロセッサ21は、宛先画像へのOCR処理及び宛先の入力を行う。
表示画像が宛先の入力を受け付ける画像でないと判定すると、プロセッサ21は、アラートを検出する。
【0124】
次に、OCR装置20の動作例について説明する。
図9は、OCR装置20の動作例について説明するためのフローチャートである。
まず、プロセッサ21は、キャプチャボード5を通じて表示画像30を取得する(S21)。表示画像30を取得すると、プロセッサ21は、表示画像30が宛先の入力を受け付ける画像であるかを判定する(S22)。
【0125】
表示画像30が宛先の入力を受け付ける画像であると判定すると(S22、YES)、プロセッサ21は、表示画像30に写る宛先画像に対してOCR処理を行うことで宛先を取得する(S23)。宛先を取得すると、プロセッサ21は、エミュレータ4を用いて、取得された宛先を入力するための操作信号を操作装置10に入力する(S24)。
操作信号を操作装置10に入力すると、プロセッサ21は、S21に戻る。
【0126】
表示画像30が宛先の入力を受け付ける画像でないと判定すると(S22、YES)、プロセッサ21は、表示画像30の表示領域31に対してOCR処理を行う(S25)。
【0127】
OCR処理を行うと、プロセッサ21は、OCR処理の結果に基づいてアラートが出力されているかを判定する(S26)。アラートが出力されていると判定すると(S26、YES)、プロセッサ21は、アラートが出力されていることを報知する(S27)。
【0128】
アラートが出力されていることを報知すると、プロセッサ21は、出力されているアラートに対応する「対処法」を特定する(S28)。「対処法」を特定すると、プロセッサ21は、特定された「対処法」に基づいてアラートに対応する処理を行う(S29)。
【0129】
アラートに対応する処理を行うと、プロセッサ21は、表示画像30の表示領域31に対してOCR処理を行う(S30)。OCR処理を行うと、プロセッサ21は、OCR処理の結果に基づいてアラートが消失したかを判定する(S31)。
【0130】
アラートが出力されていないと判定した場合(S26、NO)、又は、アラートが消失したと判定した場合(S31、YES)、プロセッサ21は、S21に戻る。
【0131】
アラートが消失していないと判定すると(S31、NO)、プロセッサ21は、エラーを報知する(S32)。エラーを報知すると、プロセッサ21は、動作を終了する。
【0132】
なお、プロセッサ21は、S23でOCR処理に失敗した場合、エミュレータ4を用いて、操作端末8に入力される操作信号に対応する操作信号を操作装置10に送信する。
【0133】
以上のように構成されたOCR装置は、操作装置からの宛先画像に対してセカンダリOCR処理を行う。OCR装置は、処理結果に基づいて宛先を操作装置に入力する。また、OCR装置は、セカンダリOCR及び宛先の入力を行っていない場合、アラートを検出する。その結果、OCR装置は、宛先の入力とアラートに対する処理とを両立することができる。
【0134】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
操作装置から画像を取得する画像インターフェースと、
前記操作装置に操作を入力する入力インターフェースと、
前記画像インターフェースを通じて取得した前記画像に対して文字認識処理を行い、 前記文字認識処理の結果に基づいてアラートを検出し、
前記入力インターフェースを通じて、検出された前記アラートに対応する処理を行うための操作信号を前記操作装置に入力する、
プロセッサと、
を備える情報処理装置。
[C2]
各アラートに対応する処理を示すアラートテーブルを格納する記憶部を備え、
前記プロセッサは、前記アラートテーブルを参照して、検出された前記アラートに対応する処理を特定する、
[C1]に記載の情報処理装置。
[C3]
前記プロセッサは、前記アラートを検出すると、前記アラートが出力されていることを報知する、
[C1]又は[C2]に記載の情報処理装置。
[C4]
前記プロセッサは、検出された前記アラートに対応する処理を行うための前記操作信号を入力した後に前記アラートが消失しない場合、エラーを報知する、
[C1]乃至[C3]の何れか1つに記載の情報処理装置。
[C5]
前記プロセッサは、前記画像において前記アラートが表示される領域に対して前記文字認識処理を行う、
[C1]乃至[C4]の何れか1つに記載の情報処理装置。
[C6]
前記入力インターフェースは、操作端末をエミュレーションするエミュレータに接続する、
[C1]乃至[C5]の何れか1つに記載の情報処理装置。
[C7]
前記エミュレータは、マウス又はキーボードをエミュレーションする、
[C6]に記載の情報処理装置。
[C8]
前記操作装置は、物品を区分する区分機に接続し、
前記アラートは、前記区分機に関する、
[C1]乃至[C7]の何れか1つに記載の情報処理装置。
[C9]
前記プロセッサは、
前記画像が宛先の入力を受け付ける画像である場合、前記画像に含まれる宛先画像に対して文字認識処理を行い、前記文字認識処理の結果に基づいて宛先を取得し、前記入力インターフェースを通じて前記宛先を入力する操作信号を前記操作装置に入力し、
前記画像が宛先の入力を受け付ける画像でない場合、前記アラートを検出する、
[C1]乃至[C6]の何れか1つに記載の情報処理装置。
[C10]
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
操作装置からの画像に対して文字認識処理を行う機能と、
前記文字認識処理の結果に基づいてアラートを検出する機能と、
検出された前記アラートに対応する処理を行うための操作信号を操作装置に入力する機能と、
を実現させるプログラム。
【符号の説明】
【0135】
1…アラートシステム、2…処理装置、3…表示端末、4…エミュレータ、5…キャプチャボード、6…通信端末、7…表示端末、8…操作端末、10…操作装置、11…プロセッサ、12…ROM、13…RAM、14…NVM、15…通信部、16…表示インターフェース、17…操作インターフェース、20…OCR装置、21…プロセッサ、22…ROM、23…RAM、24…NVM、25…エミュレータインターフェース、26…画像インターフェース、27…通信インターフェース、28…表示インターフェース、29…操作インターフェース、30…表示画像、31…表示領域、32…ポインタ、33…アイコン、34…アイコン。