知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-30
(45)【発行日】2023-11-08
(54)【発明の名称】ナンバー認識装置及び方法
(51)【国際特許分類】
G06V 30/14 20220101AFI20231031BHJP
G06V 30/194 20220101ALI20231031BHJP
【ＦＩ】
G06V30/14
G06V30/194
G06V30/14 340J
【請求項の数】
7
(21)【出願番号】P 2019213143
(22)【出願日】2019-11-26
(65)【公開番号】P2020102203
(43)【公開日】2020-07-02
【審査請求日】2022-08-09
(31)【優先権主張番号】201811561218.9
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ジュ・シエヌタヌ
(72)【発明者】
【氏名】タヌ・ジミン
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１８－１３２８９４（ＪＰ，Ａ）
【文献】特表２０１８－５１９５７４（ＪＰ，Ａ）
【文献】大槻 涼 Ryo Otsuki，深層学習を用いた医療機器に表示される数値の認識モデルの提案 Medical Numerical Record Recognition using Deep Learning，一般社団法人人工知能学会 研究会 ＡＩＭＥＤ：医用人工知能研究会 ＳＩＧ－ＡＩＭＥＤ－００５ ［ｏｎｌｉｎｅ］ ，日本，一般社団法人人工知能学会，2018年03月14日
【文献】Shaoqing Ren et al.，Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks，IEEE Access [online]，2016年06月06日，https://ieeexplore.ieee.org/document/7485869
【文献】Sebastian Gerke et al.，Soccer Jersey Number Recognition Using Convolutional Neural Networks，IEEE Access [online]，2016年02月15日，https://ieeexplore.ieee.org/document/7406449
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ３０／１４
Ｇ０６Ｖ ３０／１９４
(57)【特許請求の範囲】
【請求項1】
ナンバー認識装置であって、入力画像から検出待ちオブジェクトを検出するための第一検出ユニット；
検出された前記検出待ちオブジェクトの所在する領域から１桁の数字を検出するための第二検出ユニット；及び
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得るための合併ユニットを含み、
前記第一検出ユニット及び前記第二検出ユニットは、畳み込みニューラルネットワークにより、それぞれ、前記検出待ちオブジェクト及び前記１桁の数字を検出し、
前記ナンバー認識装置は、さらに、
前記検出待ちオブジェクトの所在する領域から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、前記少なくとも２つの隣接する１桁の数字のうち、前記畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去するための第二除去ユニットを含む、ナンバー認識装置。
【請求項2】
請求項１に記載のナンバー認識装置であって、さらに、検出された１桁の数字について、前記畳み込みニューラルネットワークにより出力されるスコアが第一閾値よりも低いときに、該１桁の数字を検出結果から除去するための第一除去ユニットを含む、ナンバー認識装置。
【請求項3】
請求項１に記載のナンバー認識装置であって、さらに、前記検出待ちオブジェクトの所在する領域における重畳した少なくとも２つの検出領域から、それぞれ、１桁の数字を検出するときに、前記畳み込みニューラルネットワークにより出力されるスコアが最も高い１桁の数字を前記合併に用いるための確定ユニットを含む、ナンバー認識装置。
【請求項4】
請求項１に記載のナンバー認識装置であって、前記合併ユニットは、前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の中心位置に基づいて、左から右へとの順序に従って各１桁の数字を合併する、ナンバー認識装置。
【請求項5】
請求項１に記載のナンバー認識装置であって、前記合併ユニットは、前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の個数が前記ナンバーの最大桁数よりも大きいときに、前記畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうちから、前記最大桁数と同じ数の１桁の数字を選択し、合併を行う、ナンバー認識装置。
【請求項6】
請求項１～５のうちの任意の一項に記載のナンバー認識装置を含む、電子機器。
【請求項7】
ナンバー認識方法であって、入力画像から検出待ちオブジェクトを検出し；
検出された前記検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得ることを含み、
畳み込みニューラルネットワークにより、それぞれ、前記検出待ちオブジェクト及び前記１桁の数字を検出し、
前記ナンバー認識方法は、さらに、
前記検出待ちオブジェクトの所在する領域から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、前記少なくとも２つの隣接する１桁の数字のうち、前記畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去することを含む、ナンバー認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報技術分野に関し、特に、ナンバー認識装置及び方法に関する。
【背景技術】
【0002】
情報技術の進歩に伴い、ナンバー認識が広く応用されるようになっている。例えば、サインボード、選手、作業員、受験生などの検出待ちオブジェクトにおけるナンバーに対して認識を行うことにより、様々な応用を行うことができる。
【0003】
例えば、バスケットボール試合では、ナンバー検出は、多くのビデオ監視の面での応用がある。例えば、選手のユニフォームにおけるナンバーに対して検出及び認識を行うことで、認識結果に基づいて、対応する選手を確定することができる。このように、試合のビデオを用いて、各選手の軌跡を追跡及び記述することで、技術補助を提供することができる。従来のナンバー認識方法では、分類器により、全ての可能なナンバーに対して分類を行う。例えば、バスケットボール選手について言えば、その可能なナンバーが0～99でああり、この場合、該分類器の類別が100種類ある。
【0004】
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈すべきではない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明者が次のようなことを発見した。即ち、分類器を使用した従来の方法では、各分類について、大量の訓練データを収集し、訓練を行う必要があるため、時間及び手間がかかりまた、また、幾つかの類別の訓練データを収集し難い場合もある。例えば、バスケットボール選手のナンバーの認識の場合、100種類の訓練データを収集する必要があるが、幾つかのナンバー関して、該ナンバーを使用する選手がとても少ないため、このようなナンバーの訓練データを収集し、訓練を行うことがかなり困難である。
【0006】
本発明の目的は、ナンバー認識装置及び方法を提供することにある。このようなナンバー認識装置及び方法は、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
【課題を解決するための手段】
【0007】
本発明の実施例の第一側面によれば、ナンバー認識装置が提供され、前記装置は、入力画像のうちから、検出待ちオブジェクトを検出するための第一検出ユニット；検出された前記検出待ちオブジェクトの所在する領域のうちから、１桁の数字を検出するための第二検出ユニット；及び、前記検出待ちオブジェクトの所在する領域のうちから検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得るための合併ユニットを含む。
【0008】
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載のナンバー認識装置を含む。
【0009】
本発明の実施例の第三側面によれば、ナンバー認識方法が提供され、前記方法は、入力画像のうちから、検出待ちオブジェクトを検出し；検出された前記検出待ちオブジェクトの所在する領域のうちから、１桁の数字を検出し；及び、前記検出待ちオブジェクトの所在する領域のうちから検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得ることを含む。
【0010】
本発明の有益な効果が次の通りである。即ち、先ず、各検出待ちオブジェクトを検出し、その後、各検出待ちオブジェクトの所在する領域内の１桁の数字を検出し、最後に、これらの１桁の数字を合併することで、各検出待ちオブジェクトに対応するナンバーを取得することができる。１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
【0011】
なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つの又は複数の他の特徴、要素、ステップ、又はアセンブリの存在又は付加を排除しないということも指す。
【図面の簡単な説明】
【0012】
【図1】本発明の実施例1におけるナンバー認識装置を示す図である。
【図2】本発明の実施例1における入力画像を示す図である。
【図4】本発明の実施例1において１つの検出待ちオブジェクトの所在する領域のうちから１桁の数字を検出することを示す図である。
【図5】本発明の実施例1において１つの検出待ちオブジェクトの所在する領域のうちから１桁の数字を検出することを示す他の図である。
【図6】本発明の実施例2における電子機器を示す図である。
【図7】本発明の実施例2における電子機器のシステム構成を示す図である。
【図8】本発明の実施例3におけるナンバー認識方法を示す図である。
【発明を実施するための形態】
【0013】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施形態を詳しく説明する。
【実施例1】
【0014】
【0015】
第一検出ユニット101：入力画像から検出待ちオブジェクトを検出し；
第二検出ユニット102：検出された検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
合併ユニット103：該検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことで、該検出待ちオブジェクトの所在する領域中のナンバーを取得する。
第二検出ユニット102：検出された検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
合併ユニット103：該検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことで、該検出待ちオブジェクトの所在する領域中のナンバーを取得する。
【0016】
上述の実施例から分かるように、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行っても良いので、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
【0017】
本実施例では、該検出待ちオブジェクトは、そのナンバーを認識するニーズを有する任意のオブジェクトであっても良い。例えば、該検出待ちオブジェクトは、試合中の選手、ナンバーを含む標識ボード、イベントに参加するスタッフ、テストに参加する学生、試合に参加する選手などである。
【0018】
例えば、試合に参加するバスケットボール又はサッカー選手の場合、その可能なナンバーが0～99であり、試合に参加する陸上競技選手の場合、その可能なナンバーが0000～9999である。
【0019】
本実施例では、該入力画像は、検出待ちオブジェクトを含む可能性がある画像である。例えば、該検出待ちオブジェクトは、バスケットボール選手であり、該入力画像は、バスケットボール試合のビデオにおける少なくとも１つの画像である。
【0020】
本実施例では、第一検出ユニット101の検出待ちオブジェクトへの検出、及び、第二検出ユニット102の１桁の数字への検出が、各種の検出方法に基づいても良く、例えば、該第一検出ユニット101及び該第二検出ユニット102は、畳み込みニューラルネットワーク（Convolutional Neural Network、CNN）により、それぞれ、該入力画像中の検出待ちオブジェクト、及び該検出待ちオブジェクトの所在する領域中の１桁の数字に対して検出を行っても良い。
【0021】
本実施例では、該畳み込みニューラルネットワークの具体的構成について、従来技術を参照することができる。例えば、該畳み込みニューラルネットワークは、Faster R-CNN、FPN（Feature Pyramid Networks for object Detection）又はYOLO（You Only Look Once：Unified，Real-Time Object Detection）である。
【0022】
本実施例では、畳み込みニューラルネットワークに対しての訓練方法についても、従来技術を参照することができるため、ここでは、その詳しい説明を省略する。
【0023】
畳み込みニューラルネットワークが高い目標認識能力を有し、また、リアル環境中の複雑なファクターを簡略化することもできるので、検出効率及び検出精度をさらに向上させることができる。
【0024】
本実施例では、バスケットボール試合中の選手のユニフォーム上のナンバーを例として例示的に説明する。
【0025】
図2は、本発明の実施例1における入力画像を示す図である。図2に示すように、該入力画像は、バスケットボール試合ビデオにおける１つの画像であり、それは、検出待ちオブジェクトとしての複数の選手を含む。第一検出ユニット101は、該入力画像中の各選手を検出し、各選手の所在する領域を取得し、また、このような領域は、各検出枠で示される。
【0026】
図3は、図2における検出待ちオブジェクトの所在する検出枠、及びその１桁の数字の検出結果を示す図である。図3に示すように、検出された各選手の所在する領域は、各検出枠で示されており、各検出枠中の１桁の数字の検出結果は、順に、“結果無し”、“3及び0”、“2”、“結果無し”、“2及び3”、“0”、及び“8”である。
【0027】
本実施例では、各検出待ちオブジェクトの所在する領域から１桁の数字を検出した後、且つ、各領域内の１桁の数字に対して合併を行う前に、幾つかの前処理を行っても良い。例えば、図1に示すように、該装置100は、さらに、以下のようなものを含んでも良い。
【0028】
第一除去ユニット104：検出された１桁の数字について、該畳み込みニューラルネットワークにより出力されるスコア（score）が第一閾値よりも低いときに、該１桁の数字を検出結果から除去する。
【0029】
本実施例では、畳み込みニューラルネットワークを用いて１桁の数字に対して検出を行うときに、その出力結果は、検出された１桁の数字の所在する座標位置、及び、該１桁の数字のスコア、即ち、検出された１桁の数字が該１桁の数字の類別（class）に属する確率を含んでも良い。
【0030】
本実施例では、該第一閾値は、実際のニーズに応じて設定されても良く、例えば、該第一閾値は、0.5である。
【0031】
このように、スコアが比較的低い１桁の数字を除去することで、幾つかの誤検出結果を有効に除去することができ、これにより、ナンバー認識の認識精度をさらに向上させることができる。
【0032】
図1に示すように、該装置100は、さらに、以下のようなものを含んでも良い。
【0033】
第二除去ユニット105：該検出待ちオブジェクトの所在する領域の中から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、該少なくとも２つの隣接する１桁の数字のうち、該畳み込みニューラルネットワークにより出力されるスコアが第三閾値によりも低い１桁の数字を除去する。
【0034】
本実施例では、該第二閾値及び第三閾値は、実際のニーズに応じて確定されても良い。例えば、該第二閾値は、隣接する２つの１桁の数字の検出枠の幅の和であり、該第三閾値は、0.9である。
【0035】
図4は、本発明の実施例1において１つの検出待ちオブジェクトの所在する領域から検出された１桁の数字を示す図である。図4に示すように、１つの検出待ちオブジェクトの所在する領域内で２つの隣接する１桁の数字が検出されており、それぞれ、2及び3であり、この２つの１桁の数字の中心の距離がdであり、また、この２つの１桁の数字について、畳み込みニューラルネットワークにより出力されるスコアがそれぞれ0.68及び0.99である。
【0036】
例えば、該距離dが１桁の数字2及び3の検出枠の幅の和よりも大きい場合、スコアが0.9よりも低い１桁の数字、即ち、スコアが0.68である１桁の数字2を除去することができる。
【0037】
このように、距離が比較的大きい隣接する１桁の数字のうち、スコアが比較的低い１桁の数字を除去することで、合併の結果が同一検出待ちオブジェクトのナンバーであるように保証することができ、これにより、ナンバー認識の認識精度をさらに向上させることができる。
【0038】
図1に示すように、該装置100は、さらに、以下のようなものを含んでも良い。
【0039】
確定ユニット106：該検出待ちオブジェクトの所在する領域における重畳（overlap）した少なくとも２つの検出領域のうちから、それぞれ、１桁の数字が検出されたときに、該畳み込みニューラルネットワークにより出力されるスコアが最も高い１桁の数字を合併処理に用いる。
【0040】
図5は、本発明の実施例1において１つの検出待ちオブジェクトの所在する領域から検出された１桁の数字を示す他の図である。図5に示すように、１つの検出待ちオブジェクトの所在する領域に対して、重畳した２つの検出領域（検出枠）が検出され、その検出結果が、それぞれ、１桁の数字7及び1であり、この場合、スコアが比較的低い１桁の数字1を除去する。
【0041】
このように、誤検出された１桁の数字をさらに除去することができ、そのため、ナンバー認識の認識精度をより一層向上させることができる。
【0042】
本実施例では、第一除去ユニット104、第二除去ユニット105及び確定ユニット106は、オプションであっても良い。
【0043】
本実施例では、各検出待ちオブジェクトの所在する領域から１桁の数字が検出された後に、上述の少なくとも１つの前処理を行ってから、１桁の数字の合併を行っても良く、又は、これらの前処理を行わず、１桁の数字の合併を直接行っても良い。
【0044】
本実施例では、合併ユニット103は、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行うことにより、該検出待ちオブジェクトの所在する領域におけるナンバーを得ることができる。言い換えると、入力画像から複数の検出待ちオブジェクトが検出されたときに、合併ユニット103は、各検出待ちオブジェクトの所在する領域に対して、1つずつ、１桁の数字の合併を行うことで、各検出待ちオブジェクトに対応するナンバーを取得することができる。なお、１つの検出待ちオブジェクトの所在する領域において１つのみの１桁の数字が検出されたときに、合併処理を行わなくても良い。
【0045】
以下、合併ユニット103が１桁の数字に対して合併を行う具体的な方法について例示的に説明する。
【0046】
本実施例では、合併ユニット103は、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の中心位置に基づいて、左から右への順序に従って各１桁の数字を合併する。
【0047】
図3に示すように、合併ユニット103は、各検出待ちオブジェクトの所在する領域に対して、1つずつ、１桁の数字の合併を行い、各検出待ちオブジェクトに対応するナンバー認識結果を取得し、それぞれは、“結果無し”、“30”、“2”、“結果無し”、“23”、“0”及び“8”である。
【0048】
本実施例では、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の個数が該ナンバーの最大桁数よりも大きいときに、該畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうちから、該最大桁数と同じ数の１桁の数字に対して合併を行っても良い。
【0049】
例えば、バスケットボール選手について、そのナンバーが2桁であり、１つの検出待ちオブジェクトの所在する領域において3つ又はより多くの１桁の数字が検出されるときに、各１桁の数字について該畳み込みニューラルネットワークにより出力されるスコアに基づいて、2つの１桁の数字を選択して合併を行っても良い。例えば、3つ又はより多くの１桁の数字について、スコアの高から低への順序に従って並び替えた後に、その前の2つの１桁の数字を選択し、合併を行っても良い。
【0050】
このように、誤ったナンバー認識結果の出力を避けることができる。
【0051】
上述の実施例から分かるように、先ず、各検出待ちオブジェクトを検出し、その後、各検出待ちオブジェクトの所在する領域内の１桁の数字を検出し、最後に、これらの１桁の数字を合併し、これにより、各検出待ちオブジェクトに対応するナンバーを得ることができる。１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
【実施例2】
【0052】
本発明の実施例は、さらに、電子機器を提供し、図6は、本発明の実施例2における電子機器を示す図である。図6に示すように、電子機器600は、ナンバー認識装置601を含み、該ナンバー認識装置601の構成及び機能が実施例1中の記載と同じであるため、ここでは、その詳しい説明を省略する。
【0053】
図7は、本発明の実施例2における電子機器のシステム構成を示すブロック図である。図7に示すように、電子機器700は、中央処理装置701及び記憶器702を含み、該記憶器702は、該中央処理装置701に接続される。なお、該図は、例示に過ぎず、該構造に対して、他の類型の構造により補充又は代替を行うことで、電気通信機能又は他の機能を実現しても良い。
【0054】
図7に示すように、該電子機器700は、さらに、入力ユニット703、表示器704、電源705などを含んでも良い。
【0055】
１つの実施方式では、実施例1に記載のナンバー認識装置の機能は、該中央処理装置701に統合されても良い。そのうち、該中央処理装置701は、次のように構成されても良く、即ち、入力画像から検出待ちオブジェクトを検出し、検出された該検出待ちオブジェクトの所在する領域の中から１桁の数字を検出し、及び、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行い、該検出待ちオブジェクトの所在する領域の中のナンバーを取得する。
【0056】
例えば、畳み込みニューラルネットワークにより、それぞれ、該検出待ちオブジェクト及び該１桁の数字を検出する。
【0057】
例えば、検出された１桁の数字について、該畳み込みニューラルネットワークにより出力されるスコアが第一閾値よりも低いときに、該１桁の数字を検出結果から除去する。
【0058】
例えば、該検出待ちオブジェクトの所在する領域の中から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、該少なくとも２つの隣接する１桁の数字のうち、該畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去する。
【0059】
例えば、該検出待ちオブジェクトの所在する領域における重畳した少なくとも２つの検出領域内でそれぞれ１桁の数字を検出するときに、該畳み込みニューラルネットワークにより出力されるスコアが最も高い１桁の数字を合併処理に用いる。
【0060】
例えば、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行うことは、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の中心位置に基づいて、左から右への順序に従って各１桁の数字を合併することを含む。
【0061】
例えば、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字に対して合併を行うことは、該検出待ちオブジェクトの所在する領域の中から検出された１桁の数字の個数が該ナンバーの最大桁数よりも大きいときに、該畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうち、該最大桁数と同じ数の１桁の数字に対して合併を行うことを含む。
【0062】
もう１つの実施方式では、実施例1に記載のナンバー認識装置は、該中央処理装置701と別々で配置されても良く、例えば、該ナンバー認識装置を、該中央処理装置701に接続されるチップ（chip）として構成し、該中央処理装置701の制御により、該ナンバー認識装置の機能を実現しても良い。
【0063】
本実施例では、該電子機器700は、図7に示す全ての部品を含む必要がない。
【0064】
図7に示すように、該中央処理装置701は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ、他の処理器装置及び/又は論理装置を含んでも良く、該中央処理装置701は、入力を受信して該電子機器700の各部品の操作を制御することができる。
【0065】
該記憶器702は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発記憶器、不揮発記憶器、或いは、他の適切な装置のうちの１つ又は複数であっても良い。また、該中央処理装置701は、該記憶器702に記憶されたプログラムを実行することで、情報の記憶、処理などを実現することができる。なお、他の機能は、従来技術と類似したので、ここでは、その詳しい説明を省略する。また、該電子機器700の各部品は、専用ハードウェア、ファームウェア、ソフトウェア、又はその組み合わせにより実現されても良いが、その全ては、本発明の範囲に属する。
【0066】
上述の実施例から分かるように、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
【実施例3】
【0067】
本発明の実施例は、さらに、ナンバー認識方法を提供し、該方法は、実施例1におけるナンバー認識装置に対応する。図8は、本発明の実施例3におけるナンバー認識方法を示す図である。図8に示すように、該方法は、以下のようなステップを含む。
【0068】
ステップ801：入力画像から検出待ちオブジェクトを検出し；
ステップ802：検出された該検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
ステップ803：該検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、該検出待ちオブジェクトの所在する領域におけるナンバーを取得する。
ステップ802：検出された該検出待ちオブジェクトの所在する領域から１桁の数字を検出し；及び
ステップ803：該検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、該検出待ちオブジェクトの所在する領域におけるナンバーを取得する。
【0069】
本実施例では、上述の各ステップの具体的な実現方法は、実施例1中の記載を参照することができ、ここでは、その重複説明を割愛する。
【0070】
上述の実施例から分かるように、１桁のみの数字を検出する必要があるため、0～9の10種類の訓練サンプルだけを収集し、分類器に対して訓練を行うことで、簡単且つ迅速に分類器の訓練を完成することができ、また、１桁のみの数字に対して検出及び合併を行うのであるから、比較的高い認識精度も有する。
【0071】
また、本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、ナンバー認識装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、コンピュータに、前記ナンバー認識装置又は電子機器中で実施例3に記載のナンバー認識方法を実行させる。
【0072】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、ナンバー認識装置又は電子機器中で実施例3に記載のナンバー認識方法を実行させることができる。
【0073】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
【0074】
また、上述の実施例などに関して、さらに以下の付記も開示する。
【0075】
（付記1）
ナンバー認識方法であって、
入力画像から検出待ちオブジェクトを検出し；
検出された前記検出待ちオブジェクトの所在する領域から、１桁の数字を検出し；及び
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得ることを含む、方法。
ナンバー認識方法であって、
入力画像から検出待ちオブジェクトを検出し；
検出された前記検出待ちオブジェクトの所在する領域から、１桁の数字を検出し；及び
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行い、前記検出待ちオブジェクトの所在する領域におけるナンバーを得ることを含む、方法。
【0076】
（付記2）
付記1に記載の方法であって、
畳み込みニューラルネットワークにより、それぞれ、前記検出待ちオブジェクト及び前記１桁の数字を検出する、方法。
付記1に記載の方法であって、
畳み込みニューラルネットワークにより、それぞれ、前記検出待ちオブジェクト及び前記１桁の数字を検出する、方法。
【0077】
（付記3）
付記2に記載の方法であって、さらに、
検出された１桁の数字について、前記畳み込みニューラルネットワークにより出力されるスコアが第一閾値よりも低いときに、該１桁の数字を検出結果から除去することを含む、方法。
付記2に記載の方法であって、さらに、
検出された１桁の数字について、前記畳み込みニューラルネットワークにより出力されるスコアが第一閾値よりも低いときに、該１桁の数字を検出結果から除去することを含む、方法。
【0078】
（付記4）
付記2に記載の方法であって、さらに、
前記検出待ちオブジェクトの所在する領域から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、前記少なくとも２つの隣接する１桁の数字のうち、前記畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去することを含む、方法。
付記2に記載の方法であって、さらに、
前記検出待ちオブジェクトの所在する領域から検出された少なくとも２つの隣接する１桁の数字の間の距離が第二閾値よりも大きいときに、前記少なくとも２つの隣接する１桁の数字のうち、前記畳み込みニューラルネットワークにより出力されるスコアが第三閾値よりも低い１桁の数字を除去することを含む、方法。
【0079】
（付記5）
付記2に記載の方法であって、さらに、
前記検出待ちオブジェクトの所在する領域における重畳した少なくとも２つの検出領域から、それぞれ、１桁の数字を検出するときに、前記畳み込みニューラルネットワークにより出力されるスコアが最も高い桁の数字を前記合併に用いる、方法。
付記2に記載の方法であって、さらに、
前記検出待ちオブジェクトの所在する領域における重畳した少なくとも２つの検出領域から、それぞれ、１桁の数字を検出するときに、前記畳み込みニューラルネットワークにより出力されるスコアが最も高い桁の数字を前記合併に用いる、方法。
【0080】
（付記6）
付記1に記載の方法であって、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことは、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の中心位置に基づいて、左から右へ順序に従って各１桁の数字を合併することを含む、方法。
付記1に記載の方法であって、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことは、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の中心位置に基づいて、左から右へ順序に従って各１桁の数字を合併することを含む、方法。
【0081】
（付記7）
付記2に記載の方法であって、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことは、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の個数が前記ナンバーの最大桁数より大きいときに、前記畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうちから、前記最大桁数と同じ数の１桁の数字を選択し、合併を行うことを含む、方法。
付記2に記載の方法であって、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字に対して合併を行うことは、
前記検出待ちオブジェクトの所在する領域から検出された１桁の数字の個数が前記ナンバーの最大桁数より大きいときに、前記畳み込みニューラルネットワークにより出力されるスコアに基づいて、検出された１桁の数字のうちから、前記最大桁数と同じ数の１桁の数字を選択し、合併を行うことを含む、方法。
【0082】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】