特許 6868052 画像認識装置、画像認識方法、画像認識プログラム及び画像認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6868052

(24)【登録日】2021年4月13日

(45)【発行日】2021年5月12日

(54)【発明の名称】画像認識装置、画像認識方法、画像認識プログラム及び画像認識システム

(51)【国際特許分類】

   G06K 9/62 20060101AFI20210426BHJP

   G06K 9/66 20060101ALI20210426BHJP

   G06T 7/00 20170101ALI20210426BHJP

【ＦＩ】

   G06K9/62 620B

   G06K9/66

   G06T7/00 350C

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2019-75833(P2019-75833)

(22)【出願日】2019年4月11日

(65)【公開番号】特開2020-173669(P2020-173669A)

(43)【公開日】2020年10月22日

【審査請求日】2019年12月11日

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】劉 牧

(72)【発明者】

【氏名】岡本 康宏

(72)【発明者】

【氏名】金 大柱

(72)【発明者】

【氏名】山田 聡

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開平１０−１５４２０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／６２

Ｇ０６Ｋ ９／６６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

文字列が写された画像を取得する取得部と、
前記画像を複数の部分画像に分割する分割部と、
前記複数の部分画像それぞれから特徴量を抽出する第１モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第２モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出する算出部と、
前記文字列の区切りを表す情報を出力する出力部と、
を備え、
前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、
前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である、
画像認識装置。

【請求項2】

文字列が写された学習用画像に対して、前記文字列の区切りを表す情報が関連付けられた学習データを記憶する記憶部と、
前記学習データを用いて、前記第１モデル及び前記第２モデルを生成する生成部と、をさらに備える、
請求項１に記載の画像認識装置。

【請求項3】

前記生成部は、ＣＴＣ（Connectionist Temporal Classification）損失関数を最小化するように、前記第１モデル及び前記第２モデルを生成する、
請求項２に記載の画像認識装置。

【請求項4】

画像認識装置に、
文字列が写された画像を取得することと、
前記画像を複数の部分画像に分割することと、
前記複数の部分画像それぞれから特徴量を抽出する第１モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第２モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出することと、
前記文字列の区切りを表す情報を出力することと、
を実行させるものであり、
前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、
前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である、
画像認識方法。

【請求項5】

画像認識装置に、
文字列が写された画像を取得することと、
前記画像を複数の部分画像に分割することと、
前記複数の部分画像それぞれから特徴量を抽出する第１モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第２モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出することと、
前記文字列の区切りを表す情報を出力することと、
を実行させるものであり、
前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、
前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である、
画像認識プログラム。

【請求項6】

画像認識装置と、ユーザ端末とを備える画像認識システムであって、
前記画像認識装置は、
前記ユーザ端末から、文字列が写された画像を取得する取得部と、
前記画像を複数の部分画像に分割する分割部と、
前記複数の部分画像それぞれから特徴量を抽出する第１モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第２モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出する算出部と、
前記文字列の区切りを表す情報を前記ユーザ端末に出力する出力部と、
を有し、
前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、
前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である、
画像認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムに関する。

【背景技術】

【0002】

従来、ＯＣＲ（Optical Character Recognition）技術を用いて、画像に写された文字や数字を認識する画像認識装置が用いられている。

【0003】

例えば、下記特許文献１には、対象画像から文字情報を抽出し、文字情報の対象画像中の位置に基づいて、その文字情報と対をなす文字情報とを紐づけする画像分析装置が記載されている。

【0004】

また、下記非特許文献１には、日本語の手書き文字について、複数の手法を用いて文字列のセグメンテーションを行った研究が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８−９２４５９号公報

【非特許文献】

【0006】

【非特許文献1】Kha Cong Nguyen and Nakagawa Masaki, "Text-Line and Character Segmentation for Off-line Recognition of Handwritten Japanese Text", 信学技報, vol. 115, no. 517, PRMU2015-173, pp. 53-58, 2016年3月

【発明の概要】

【発明が解決しようとする課題】

【0007】

例えば特許文献１に記載の技術では、画像のうち罫線で囲まれた領域を検出し、当該領域に記載された文字を認識している。また、非特許文献１に記載の技術では、手書きの漢字、平仮名及びカタカナについてセグメンテーションが試みられている。しかしながら、例えば「川」や「ル」のように２以上に分離可能な要素で構成される文字の場合、適切にセグメンテーションすることが困難だった。

【0008】

そこで、本発明は、２以上に分離可能な要素で構成される文字を含む場合であっても、文字列のセグメンテーションを適切に行うことができる画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムを提供する。

【課題を解決するための手段】

【0009】

本発明の一態様に係る画像認識装置は、文字列が写された画像を取得する取得部と、画像を複数の部分画像に分割する分割部と、複数の部分画像それぞれから特徴量を抽出する第１モデル及び特徴量を文字列の区切りを表す情報に順次変換する第２モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出する算出部と、文字列の区切りを表す情報を出力する出力部と、を備え、前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である。

【0010】

この態様によれば、画像を複数の部分画像に分割し、第１モデルによって複数の部分画像の特徴を捉え、第２モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が２以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。
また、この態様によれば、２値情報に従って、画像を文字列の区切りに対応する領域と、文字列の区切りに対応しない領域とに分けることができ、文字列のセグメンテーションを適切に行うことができる。
さらに、この態様によれば、ＣＮＮによって算出される複数の部分画像の特徴マップによって、複数の部分画像の特徴を適切に捉え、ＲＮＮによって特徴マップの前後関係を考慮しつつ、特徴マップを文字列の区切りを表す情報に変換することができ、文字列のセグメンテーションをより適切に行うことができる。

【0015】

上記態様において、文字列が写された学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データを記憶する記憶部と、学習データを用いて、第１モデル及び第２モデルを生成する生成部と、をさらに備えてもよい。

【0016】

この態様によれば、学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データが与えられた場合に、画像に写された文字列の区切りを表す情報を適切に算出することができる第１モデル及び第２モデルを生成することができる。

【0017】

上記態様において、生成部は、ＣＴＣ（Connectionist Temporal Classification）損失関数を最小化するように、第１モデル及び第２モデルを生成してもよい。

【0018】

この態様によれば、任意の文字間隔と大きさで記載された文字列について、文字列のセグメンテーションを適切に行う第１モデル及び第２モデルを生成することができる。

【0019】

本発明の他の態様に係る画像認識方法は、画像認識装置に、文字列が写された画像を取得することと、画像を複数の部分画像に分割することと、複数の部分画像それぞれから特徴量を抽出する第１モデル及び特徴量を文字列の区切りを表す情報に順次変換する第２モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出することと、文字列の区切りを表す情報を出力することと、を実行させるものであり、前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である。

【0020】

この態様によれば、画像を複数の部分画像に分割し、第１モデルによって複数の部分画像の特徴を捉え、第２モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が２以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。
また、この態様によれば、２値情報に従って、画像を文字列の区切りに対応する領域と、文字列の区切りに対応しない領域とに分けることができ、文字列のセグメンテーションを適切に行うことができる。
さらに、この態様によれば、ＣＮＮによって算出される複数の部分画像の特徴マップによって、複数の部分画像の特徴を適切に捉え、ＲＮＮによって特徴マップの前後関係を考慮しつつ、特徴マップを文字列の区切りを表す情報に変換することができ、文字列のセグメンテーションをより適切に行うことができる。

【0021】

本発明の他の態様に係る画像認識プログラムは、画像認識装置に、文字列が写された画像を取得することと、画像を複数の部分画像に分割することと、複数の部分画像それぞれから特徴量を抽出する第１モデル及び特徴量を文字列の区切りを表す情報に順次変換する第２モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出することと、文字列の区切りを表す情報を出力することと、を実行させるものであり、前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である。

【0022】

この態様によれば、画像を複数の部分画像に分割し、第１モデルによって複数の部分画像の特徴を捉え、第２モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が２以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。
また、この態様によれば、２値情報に従って、画像を文字列の区切りに対応する領域と、文字列の区切りに対応しない領域とに分けることができ、文字列のセグメンテーションを適切に行うことができる。
さらに、この態様によれば、ＣＮＮによって算出される複数の部分画像の特徴マップによって、複数の部分画像の特徴を適切に捉え、ＲＮＮによって特徴マップの前後関係を考慮しつつ、特徴マップを文字列の区切りを表す情報に変換することができ、文字列のセグメンテーションをより適切に行うことができる。

【0023】

本発明の他の態様に係る画像認識システムは、画像認識装置と、ユーザ端末とを備える画像認識システムであって、画像認識装置は、ユーザ端末から、文字列が写された画像を取得する取得部と、画像を複数の部分画像に分割する分割部と、複数の部分画像それぞれから特徴量を抽出する第１モデル及び特徴量を文字列の区切りを表す情報に順次変換する第２モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出する算出部と、文字列の区切りを表す情報をユーザ端末に出力する出力部と、を有し前記第１モデルは、前記複数の部分画像それぞれから前記特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であり、前記第２モデルは、前記特徴マップを前記部分画像が前記文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）である。

【0024】

この態様によれば、画像を複数の部分画像に分割し、第１モデルによって複数の部分画像の特徴を捉え、第２モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が２以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。
また、この態様によれば、２値情報に従って、画像を文字列の区切りに対応する領域と、文字列の区切りに対応しない領域とに分けることができ、文字列のセグメンテーションを適切に行うことができる。
さらに、この態様によれば、ＣＮＮによって算出される複数の部分画像の特徴マップによって、複数の部分画像の特徴を適切に捉え、ＲＮＮによって特徴マップの前後関係を考慮しつつ、特徴マップを文字列の区切りを表す情報に変換することができ、文字列のセグメンテーションをより適切に行うことができる。

【発明の効果】

【0025】

本発明によれば、２以上に分離可能な要素で構成される文字を含む場合であっても、文字列のセグメンテーションを適切に行うことができる画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムを提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態に係る画像認識システムのネットワーク構成を示す図である。

【図2】本実施形態に係る画像認識装置の機能ブロックを示す図である。

【図3】本実施形態に係る画像認識装置の物理的構成を示す図である。

【図4】本実施形態に係る画像認識装置により取得される画像の一例を示す図である。

【図5】本実施形態に係る画像認識装置により分割された部分画像の一例を示す図である。

【図6】本実施形態に係る画像認識装置により用いられる第１モデル及び第２モデルの概念図である。

【図7】本実施形態に係る画像認識装置により算出された文字列の区切りの一例を示す図である。

【図8】本実施形態に係る画像認識装置により実行されるセグメンテーション処理のフローチャートである。

【図9】本実施形態に係る画像認識装置により実行される学習処理のフローチャートである。

【発明を実施するための形態】

【0027】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0028】

図１は、本発明の実施形態に係る画像認識システム１００のネットワーク構成を示す図である。画像認識システム１００は、画像認識装置１０及びユーザ端末２０を備える。画像認識装置１０は、通信ネットワークＮを介してユーザ端末２０から画像を受信して、画像に写された文字列のセグメンテーションを行う。ここで、文字列のセグメンテーションとは、文字列を一文字ずつに区切る処理をいう。本実施形態では、画像認識装置１０によって、カタカナで記載された文字列のセグメンテーションを行う例について説明する。もっとも、画像認識装置１０は、漢字や平仮名、数字のセグメンテーションを行うこともできるし、漢字、平仮名及びカタカナが混合した文字列のセグメンテーションを行うこともできる。また、英文字や他の言語の文字を含む文字列についてセグメンテーションを行うこともできる。

【0029】

ユーザ端末２０は、汎用のコンピュータであり、例えばカメラ付きスマートフォンで構成されてよい。ユーザ端末２０は、画像認識アプリケーションを実行し、文字列の画像を撮影して、通信ネットワークＮを介して画像を画像認識装置１０に送信し、文字列のセグメンテーション結果を画像認識装置１０から受信する。なお、画像認識システム１００は、セグメンテーション処理がされた文字列の画像に基づいて、ＯＣＲ（Optical Character Recognition）を行うＯＣＲ装置を含んでもよい。その場合、文字列を撮影した画像がユーザ端末２０から画像認識装置１０に送信され、セグメンテーション処理された文字列の画像が画像認識装置１０からＯＣＲ装置に送信され、ＯＣＲ装置によって画像に写された文字列の認識が行われて、認識結果がＯＣＲ装置からユーザ端末２０に送信されてよい。

【0030】

図２は、本実施形態に係る画像認識装置１０の機能ブロックを示す図である。画像認識装置１０は、取得部１１、分割部１２、算出部１３、出力部１４、記憶部１５及び生成部１６を備える。

【0031】

取得部１１は、ユーザ端末２０から画像を取得する。取得部１１は、画像とあわせて、当該画像に関連付けられた検収に関する情報を取得してもよい。

【0032】

分割部１２は、取得した画像を複数の部分画像に分割する。分割部１２は、文字列が写された矩形の画像を、複数の矩形の部分画像に分割してよい。ここで、部分画像の形状は、文字列が並ぶ方向の辺の長さが、文字列が並ぶ方向に直交する方向の辺の長さより短い矩形であってよい。例えば、文字列が水平方向に一列並んでいる画像の大きさが幅Ａピクセル×高さＢピクセルである場合、分割部１２は、画像を幅Ａ／Ｎピクセル×高さＢピクセルの複数の部分画像に分割してよい。ここで、Ｎは、Ａ以上の数値である。なお、Ａ／Ｎが割り切れない場合、部分画像の幅は、Ａ／Ｎを四捨五入した値であったり、Ａ／Ｎを繰り上げた値であったりしてよい。

【0033】

算出部１３は、複数の部分画像それぞれから特徴量を抽出する第１モデル１５ｂ及び特徴量を文字列の区切りを表す情報に順次変換する第２モデル１５ｃを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出する。第１モデル１５ｂ及び第２モデル１５ｃにつては、後に詳細に説明する。

【0034】

出力部１４は、文字列の区切りを表す情報を、ユーザ端末２０に出力する。もっとも、出力部１４は、文字列の区切りを表す情報をＯＣＲ装置等の他の機器に出力してもよい。このように、本実施形態に係る画像認識装置１０によれば、画像を複数の部分画像に分割し、第１モデル１５ｂによって複数の部分画像の特徴を捉え、第２モデル１５ｃによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が２以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。

【0035】

算出部１３によって算出される文字列の区切りを表す情報は、部分画像が文字列の区切りに対応するか否かを表す２値情報であってよい。これにより、２値情報に従って、画像を文字列の区切りに対応する領域と、文字列の区切りに対応しない領域とに分けることができ、文字列のセグメンテーションを適切に行うことができる。

【0036】

記憶部１５は、文字列が写された学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データ１５ａを記憶する。また、記憶部１５は、第１モデル１５ｂ及び第２モデル１５ｃを記憶する。

【0037】

生成部１６は、学習データ１５ａを用いて、第１モデル１５ｂ及び第２モデル１５ｃを生成する。生成部１６は、学習データ１５ａを用いた教師あり学習によって、第１モデル１５ｂ及び第２モデル１５ｃを生成してよい。すなわち、生成部１６は、学習データ１５ａに含まれる学習用画像から第１モデル１５ｂによって特徴量を算出し、特徴量を第２モデル１５ｃによって文字列の区切りを表す情報に変換して、学習データ１５ａに含まれる文字列の区切りを表す情報と比較し、誤差が小さくなるように第１モデル１５ｂ及び第２モデル１５ｃのパラメータを更新することで、第１モデル１５ｂ及び第２モデル１５ｃを生成してよい。生成部１６によって、学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データ１５ａが与えられた場合に、画像に写された文字列の区切りを表す情報を適切に算出することができる第１モデル１５ｂ及び第２モデル１５ｃを生成することができる。

【0038】

第１モデル１５ｂは、複数の部分画像それぞれから特徴量として特徴マップを算出するＣＮＮ（Convolutional Neural Network）であってよい。また、第２モデル１５ｃは、特徴マップを、部分画像が文字列の区切りに対応するか否かを表す２値情報に順次変換するＲＮＮ（Recurrent Neural Network）であってよい。ここで、ＲＮＮは、例えば双方向ＬＳＴＭ（Long Short-Term Memory）で構成されてよい。このように、ＣＮＮによって算出される複数の部分画像の特徴マップによって、複数の部分画像の特徴を適切に捉え、ＲＮＮによって特徴マップの前後関係を考慮しつつ、特徴マップを文字列の区切りを表す情報に変換することができ、文字列のセグメンテーションをより適切に行うことができる。

【0039】

生成部１６は、ＣＴＣ（Connectionist Temporal Classification）損失関数を最小化するように、第１モデル１５ｂ及び第２モデル１５ｃを生成してよい。生成部１６は、例えば誤差逆伝播法によって、ＣＴＣ損失関数を最小化するように第１モデル１５ｂを構成するＣＮＮ及び第２モデル１５ｃを構成するＲＮＮのパラメータを最適化することで、第１モデル１５ｂ及び第２モデル１５ｃを生成してよい。第１モデル１５ｂ及び第２モデル１５ｃに含まれるＣＮＮの構成や、ＲＮＮの構成は任意であり、例えば、ＬＳＴＭブロックの代わりにＧＲＵ（Gated Recurrent Unit）を用いてもよい。ＣＴＣ損失関数を用いることで、任意の文字間隔と大きさで記載された文字列について、文字列のセグメンテーションを適切に行う第１モデル１５ｂ及び第２モデル１５ｃを生成することができる。

【0040】

図３は、本実施形態に係る画像認識装置１０の物理的構成を示す図である。画像認識装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像認識装置１０が一台のコンピュータで構成される場合について説明するが、画像認識装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、画像認識装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0041】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、文字列が写された画像を分割し、複数の部分画像それぞれについて文字列の区切りを表す情報を算出するプログラム（画像認識プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0042】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する画像認識プログラム、学習データといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0043】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像認識プログラムや、書き換えが行われないデータを記憶してよい。

【0044】

通信部１０ｄは、画像認識装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。

【0045】

入力部１０ｅは、画像認識装置１０の管理者からデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0046】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、取得した画像、算出された文字列の区切りを表す情報等を表示してよい。

【0047】

画像認識プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。画像認識装置１０では、ＣＰＵ１０ａが画像認識プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像認識装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0048】

図４は、本実施形態に係る画像認識装置１０により取得される画像ＩＭＧの一例を示す図である。画像ＩＭＧは、「センタービル」というカタカナの文字列を含む。従来術を用いて画像ＩＭＧに記載された文字列をセグメンテーションすると、「ル」を「ノ」及び「レ」とセグメンテーションしてしまう場合がある。

【0049】

図５は、本実施形態に係る画像認識装置１０により分割された部分画像ＤＩＶ１，ＤＩＶ２，…ＤＩＶＮの一例を示す図である。同図では、画像ＩＭＧをＮコの部分画像ＤＩＶ１，ＤＩＶ２，…ＤＩＶＮに分割した例を示している。部分画像ＤＩＶ１，ＤＩＶ２，…ＤＩＶＮの高さは、画像ＩＭＧと等しく、部分画像ＤＩＶ１，ＤＩＶ２，…ＤＩＶＮの幅は、画像ＩＭＧの幅の１／Ｎ倍となっている。

【0050】

図６は、本実施形態に係る画像認識装置１０により用いられる第１モデル１５ｂ及び第２モデル１５ｃの概念図である。第１モデル１５ｂは、ＣＮＮで構成され、画像ＩＭＧから分割された複数の部分画像ＤＩＶ１，ＤＩＶ２，…ＤＩＶＮに基づいて、複数の部分画像ＤＩＶ１，ＤＩＶ２，…ＤＩＶＮそれぞれの特徴マップＦＭを算出する。特徴マップＦＭは、任意の次元の配列であってよい。

【0051】

第２モデル１５ｃは、双方向ＬＳＴＭで構成され、特徴マップＦＭを文字列の区切りを表す２値情報Ｂに順次変換する。２値情報Ｂは、０及び１のビット列であり、各ビットは、部分画像が文字列の区切りに対応するか否かを表す。本例では、２値情報Ｂのうち「１」が、部分画像が文字列の区切りに対応することを表し、２値情報Ｂのうち「０」が、部分画像が文字列の区切りに対応しない（すなわち当該部分画像は文字列の一部を構成する）ことを表す。

【0052】

図７は、本実施形態に係る画像認識装置１０により算出された文字列の区切りの一例を示す図である。本実施形態に係る画像認識装置１０によれば、「センタービル」という文字列を含む画像ＩＭＧに対して、文字列の区切りを表す第１区切り情報ＳＥＰ１、第２区切り情報ＳＥＰ２、第３区切り情報ＳＥＰ３、第４区切り情報ＳＥＰ４、第５区切り情報ＳＥＰ５、第６区切り情報ＳＥＰ６及び第７区切り情報ＳＥＰ７が出力される。これにより、「センタービル」という６文字の文字列が適切にセグメンテーションされる。

【0053】

画像認識装置１０は、第２モデル１５ｃにより算出された２値情報に基づいて、２値情報が「１」である部分画像に対応する画像ＩＭＧの領域を文字列の区切り領域と判定して、画像ＩＭＧに対して第１区切り情報ＳＥＰ１、第２区切り情報ＳＥＰ２、第３区切り情報ＳＥＰ３、第４区切り情報ＳＥＰ４、第５区切り情報ＳＥＰ５、第６区切り情報ＳＥＰ６及び第７区切り情報ＳＥＰ７を付与してよい。

【0054】

図８は、本実施形態に係る画像認識装置１０により実行されるセグメンテーション処理のフローチャートである。はじめに、画像認識装置１０は、文字列が写された画像を取得する（Ｓ１０）。そして、画像認識装置１０は、画像を複数の部分画像に分割する（Ｓ１１）。

【0055】

その後、画像認識装置１０は、第１モデル１５ｂによって、複数の部分画像それぞれから特徴量を抽出し（Ｓ１２）、第２モデル１５ｃによって、特徴量を文字列の区切りを表す情報に順次変換する（Ｓ１３）。

【0056】

最後に、画像認識装置１０は、複数の部分画像それぞれについて文字列の区切りを表す情報を算出し、ユーザ端末２０に出力する。なお、画像認識装置１０は、文字列の区切りを表す情報をＯＣＲ装置等の他の機器に出力してもよい。

【0057】

図９は、本実施形態に係る画像認識装置１０により実行される学習処理のフローチャートである。はじめに、画像認識装置１０は、文字列が写された学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データ１５ａを収集し、記憶部１５に記憶する（Ｓ２０）。

【0058】

その後、画像認識装置１０は、学習データ１５ａを用いて、ＣＴＣ損失関数を最小化するように、第１モデル１５ｂ及び第２モデル１５ｃの学習処理を実行する（Ｓ２１）。ここで、学習処理は、第１モデル１５ｂを構成するＣＮＮのパラメータ及び第２モデル１５ｃを構成するＲＮＮのパラメータを、誤差逆伝播法によって更新する処理であってよい。

【0059】

学習終了条件を満たさない場合（Ｓ２２：ＮＯ）、画像認識装置１０は、第１モデル１５ｂ及び第２モデル１５ｃの学習処理を再び実行する（Ｓ２１）。ここで、学習終了条件は、ＣＴＣ損失関数の値が所定値以下となることであったり、学習処理のエポック数が所定回数以上となることであったりしてよい。

【0060】

一方、学習終了条件を満たす場合（Ｓ２２：ＹＥＳ）、画像認識装置１０は、生成された第１モデル１５ｂ及び第２モデル１５ｃを記憶部１５に記憶する。

【0061】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0062】

１０…画像認識装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…分割部、１３…算出部、１４…出力部、１５…記憶部、１５ａ…学習データ、１５ｂ…第１モデル、１５ｃ…第２モデル、１６…生成部、２０…ユーザ端末、１００…画像認識システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】