IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特許7422343文字認識装置、文字認識方法および文字認識システム
<>
  • 特許-文字認識装置、文字認識方法および文字認識システム 図1
  • 特許-文字認識装置、文字認識方法および文字認識システム 図2
  • 特許-文字認識装置、文字認識方法および文字認識システム 図3
  • 特許-文字認識装置、文字認識方法および文字認識システム 図4
  • 特許-文字認識装置、文字認識方法および文字認識システム 図5
  • 特許-文字認識装置、文字認識方法および文字認識システム 図6
  • 特許-文字認識装置、文字認識方法および文字認識システム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-01-18
(45)【発行日】2024-01-26
(54)【発明の名称】文字認識装置、文字認識方法および文字認識システム
(51)【国際特許分類】
   G08G 1/04 20060101AFI20240119BHJP
   G06V 30/26 20220101ALI20240119BHJP
   G06V 30/14 20220101ALI20240119BHJP
【FI】
G08G1/04 C
G06V30/26
G06V30/14 340K
【請求項の数】 13
(21)【出願番号】P 2023124762
(22)【出願日】2023-07-31
【審査請求日】2023-08-17
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】風見 蕗乃
(72)【発明者】
【氏名】出良 隆明
(72)【発明者】
【氏名】池田 豊
(72)【発明者】
【氏名】高木 丈史
(72)【発明者】
【氏名】清水 美樹
(72)【発明者】
【氏名】田口 史朗
(72)【発明者】
【氏名】高松 慶
(72)【発明者】
【氏名】萩原 明
(72)【発明者】
【氏名】北田 和希
(72)【発明者】
【氏名】手島 祥樹
(72)【発明者】
【氏名】守山 隆昭
【審査官】上野 博史
(56)【参考文献】
【文献】特開2000-322685(JP,A)
【文献】米国特許第11562583(US,B1)
【文献】特開2009-098867(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G06V 30/00-30/12
30/18-30/222
30/226-30/32
30/42-30/424
G06T 7/00-7/90
(57)【特許請求の範囲】
【請求項1】
撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、
前記認識部によって認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定し、前記トレイラIDコンテナIDの候補のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する選定部と、を備える、
文字認識装置。
【請求項2】
前記表記フォーマットは、前記文字列における英文字の部分と数字の部分とを規定する、
請求項1に記載の文字認識装置。
【請求項3】
前記認識部は、
認識した前記文字列のうち、前記表記フォーマットにて英文字の部分と規定されている箇所が規定の数字である場合、規定の英文字に変換し、
認識した前記文字列のうち、前記表記フォーマットにて数字の部分と規定されている箇所が規定の英文字である場合、規定の数字に変換する、
請求項2に記載の文字認識装置。
【請求項4】
前記選定部は、変換後の前記文字列と変換前の前記文字列とを、前記選定部による選定の対象とする、請求項3に記載の文字認識装置。
【請求項5】
前記選定部は、複数の撮像タイミングで撮像された複数の前記撮像画像から前記認識部により同一の前記トレイラID/コンテナIDの候補が認識された回数に基づいて、前記トレイラIDコンテナIDの候補からトレイラIDコンテナIDを選定する、
請求項1に記載の文字認識装置。
【請求項6】
前記選定部は、前記認識部によって認識された前記文字列のうち、すべて英文字の文字列を、前記トレイラIDコンテナIDの候補から除外する、
請求項1に記載の文字認識装置。
【請求項7】
前記選定部は、前記認識部によって認識された前記文字列のうち、所定の文字数に満たない文字列を、前記トレイラIDコンテナIDの候補から除外する、
請求項1に記載の文字認識装置。
【請求項8】
前記選定部は、前記トレイラIDコンテナIDの候補と、前記マスタデータとのレーベンシュタイン距離に基づいて、前記類似度を算出する、
請求項1に記載の文字認識装置。
【請求項9】
前記選定部は、前記トレイラIDコンテナIDの候補のうち、最も文字数が多い文字列をトレイラIDコンテナIDとして選定する、
請求項1に記載の文字認識装置。
【請求項10】
撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、
前記認識部によって認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定する選定部と、を備える、
文字認識装置。
【請求項11】
撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、
前記認識部によって認識された前記文字列のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する選定部と、を備える、
文字認識装置。
【請求項12】
文字認識装置が、撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識し、
前記文字認識装置が、認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定し、前記トレイラIDコンテナIDの候補のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する、
文字認識方法。
【請求項13】
トレイラを撮影する少なくとも1つの撮像デバイスと、
前記撮像デバイスによって撮像された前記トレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、
前記認識部によって認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定し、前記トレイラIDコンテナIDの候補のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する選定部と、を備える、
文字認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、文字認識装置、文字認識方法および文字認識システムに関する。
【背景技術】
【0002】
特許文献1には、入力画像からナンバープレート領域候補の四辺形を複数検出して、ナンバープレート領域候補に含まれる文字領域の文字認識を実行するナンバープレート認識装置が開示されている。ナンバープレート認識装置は、各ナンバープレート領域候補の文字認識結果と四辺形の情報とに基づいて、検出された複数のナンバープレート領域候補の中から出力するナンバープレート領域候補を選択する。ナンバープレート認識装置は、当該選択されたナンバープレート領域候補に関する情報を出力する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2008-217347号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、トレイラを用いた物流が盛んになってきており、各トレイラの所在を効率的に管理したいというニーズが高まってきている。ここで、トレイラとは牽引車両(トラクタとも呼ぶ)によって牽引される、被牽引車両を意味する。トレイラは、様々な物品等を格納するコンテナを積載する場合がある。一般的にトレイラまたはコンテナには、トレイラまたはコンテナの識別に係るIdentification(以下、「ID」と称する)が記載されているため、車両等を撮影した撮像画像からこのIDを認識することで、トレイラまたはコンテナを効率的に管理することができると考えられる。しかし、撮像画像には様々な文字も含まれていることがあり、認識に成功した文字列がトレイラまたはコンテナの識別に係るIDであるとは限らない。そのため、撮像対象物であるトレイラまたはコンテナ等が様々な大きさ、色、デザインの文字列を複数含む場合において、複数の文字列の中からトレイラまたはコンテナの識別に係るIDを検出し撮像対象物を識別したいというニーズがある。以下、トレイラの識別に係るIDを「トレイラID」と称し、コンテナの識別に係るIDを「コンテナID」と称する。また、以下、トレイラIDとコンテナIDとを区別せずに指す場合、「トレイラID/コンテナID」と称することがある。
【0005】
特許文献1では、所定条件を満たす四辺形をナンバープレート領域候補となる四辺形と判断する。しかしながら、トレイラIDには、現状統一された規格は定められていないため、位置、大きさまたは文字数等は定まっていない。そのため、特許文献1と同様の技術を適用しても、撮像対象物の任意の位置に記載される多様な文字列の中から、トレイラIDを検出することは困難である。また、コンテナIDについても複数の規格が存在しており、トレイラIDと同様、多様な文字列の中から検出することは困難である。
【0006】
本開示は、上述した従来の状況に鑑みて案出され、複数の文字列の中からトレイラIDまたはコンテナIDと考えられる文字列を検出することを目的とする。
【課題を解決するための手段】
【0007】
本開示は、撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、前記認識部によって認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定し、前記トレイラIDコンテナIDの候補のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する選定部と、を備える、文字認識装置を提供する。
【0008】
また、本開示は、撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、前記認識部によって認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定する選定部と、を備える、文字認識装置を提供する。
【0009】
また、本開示は、撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、前記認識部によって認識された前記文字列のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する選定部と、を備える、文字認識装置を提供する。
【0010】
また、本開示は、文字認識装置が、撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識し、前記文字認識装置が、認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定し、前記トレイラIDコンテナIDの候補のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する、文字認識方法を提供する。
【0011】
また、本開示は、トレイラを撮影する少なくとも1つの撮像デバイスと、前記撮像デバイスによって撮像された前記トレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、前記認識部によって認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDコンテナIDの候補として選定し、前記トレイラIDコンテナIDの候補のうち、予め保持されたトレイラIDコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDコンテナIDとして選定する選定部と、を備える、文字認識システムを提供する。
【0012】
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【0013】
本開示によれば、複数の文字列の中からトレイラIDまたはコンテナIDと考えられる文字列を検出することができる。
【図面の簡単な説明】
【0014】
図1】トレイラに含まれる文字列の一例を示す概略図
図2】トレイラに含まれる文字列の一例を示す概略図
図3】本実施の形態に係る文字認識システムの構成例を示すブロック図
図4】本実施の形態に係るトレイラID/コンテナIDを選定する処理のフローチャート
図5】本実施の形態に係るトレイラID/コンテナIDの選定ロジックを説明するためのテーブル図
図6】本実施の形態に係るマスタフィルタによる選定処理のフローチャート
図7】本実施の形態に係る類似度を説明するためのテーブル図
【発明を実施するための形態】
【0015】
以下、適宜図面を参照しながら、本開示に係る文字認識装置、文字認識方法および文字認識システムを具体的に開示した実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0016】
図1および図2を参照して、トレイラTRに含まれる文字列を説明する。図1は、トレイラTRに含まれる文字列の一例を示す概略図である。なお、図1はトレイラTRを前方右側から見た概略図である。
【0017】
トレイラTRは、トラクタLEによって牽引される対象全体である。なお、一般的には、トラクタによって牽引される車両がトレイラと呼ばれる。トレイラは、貨物を格納するが車輪等の移動のための機構を持たないコンテナと、そのコンテナを積載する台車との組で構成されてもよい。また、トレイラは、貨物を格納する部位と移動のための機構とが一体となった車両として構成されてもよい。なお、トラクタがコンテナと台車との組を牽引する場合、台車のみがトレイラと呼ばれることもある。しかし、本明細書では、説明の便宜上、トラクタによって牽引される対象全体、すなわち、台車とコンテナの組、または、貨物を格納する部位と移動のための機構とを備えた車両の両方をトレイラと称する。
【0018】
トレイラTRには、トレイラIDの他に、コンテナID、会社名、電話番号、トレイラTRの高さを示す数字、Uniform Resource Locator(以下、「URL」と称する)、単語またはテキスト等に係る文字列が記載され得る。なお、トレイラTRに記載される文字列は、上述した例に限られない。
【0019】
文字列ST1,ST2,ST3,ST4は、会社名を示す文字列である。文字列ST1,ST2,ST3,ST4は、斜体の文字装飾が施されている文字列である。
【0020】
文字列ST5は、英単語で示される文字列であり会社名を示す文字列ST2の下に記載される。
【0021】
文字列ST6,ST7は、トラクタLEを識別する番号に係る文字列である。
【0022】
文字列ST8は、トレイラIDを示す文字列である。文字列ST8は、トレイラTRのコーナ(つまり、トレイラTRの筐体をなす面の境界部分であり、トレイラTRの側面に位置し重力方向に長い部分)に縦書きに記載されている。
【0023】
図2は、トレイラTRに含まれる文字列の一例を示す概略図である。なお、図2は、トレイラTRを後方から見た概略図である。
【0024】
文字列ST9は、トレイラIDを示す文字列である。文字列ST9は、文字列ST8と同様の文字列が横書きで記載されている。
【0025】
文字列ST10は、コンテナIDを示す文字列である。文字列ST10は、英文字と数字とで示される文字列である。なお、本明細書では、説明を簡略化するために、1つのトレイラに、トレイラIDとコンテナIDとの両方が記載されている例を示しているが、トレイラIDとコンテナIDとのどちらか一方のみがトレイラに記載されていてもよい。
【0026】
文字列ST11は、電話番号を示す文字列である。文字列ST11は、数字で示される文字列である。
【0027】
文字列ST12は、ナンバプレート(ライセンスプレート)の番号を示す文字列である。
【0028】
このように、トレイラTRには複数の文字列が記載されている。
【0029】
近年、物流の増加に伴い、多数のトレイラTRを効率的に管理する必要性が高まっている。例えば、複数のトレイラTRが集合する場所(例えば、出発地点、中継地点または目的地点等)で、それぞれのトレイラTRを識別する必要がある。しかしながら、トレイラTRには複数の文字列(例えば、文字列ST1,ST2,ST5,ST8)が存在するため、複数の文字列の中からトレイラID/コンテナIDを検出するのは難しいという課題がある。
【0030】
次に、図3を参照して、本実施の形態に係る文字認識システム1のブロック図を説明する。図3は、本実施の形態に係る文字認識システム1の構成例を示すブロック図である。
【0031】
文字認識システム1は、撮像デバイス10、データベース20、表示デバイス30および文字認識装置40を少なくとも含む。
【0032】
撮像デバイス10は、トレイラを撮影するデバイスである。撮像デバイス10は、例えば、トラクタおよびトレイラによって運搬される荷物の積み卸しあるいは積み替えが行われたり、トラクタによって牽引されるトレイラあるいはトレイラに搭載されるコンテナの変更が行われたりする領域(以下、「ヤード」とも呼ぶ)の出入り口に設置されており、ヤードの出入りを行うトレイラおよびトラクタを撮影する。撮像デバイス10は、少なくとも光学素子としてのレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。レンズは、撮像デバイス10の撮影した領域の画角内からの対象物により反射された光を入射してイメージセンサの受光面(言い換えると、撮影面)に対象物の光学像を結像する。イメージセンサは、例えばCharged Coupled Device(以下、「CCD」と称する)あるいはComplementary Metal Oxide Semiconductor(以下、「CMOS」と称する)などの固体撮影素子である。イメージセンサは、所定時間(例えば1/30(秒))ごとに、レンズを介して撮影面に結像した光学像を電気信号に変換する。例えば、所定時間が1/30(秒)である場合、撮像デバイス10のフレームレートは30fpsとなる。また、撮像デバイス10は、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで画像データ(映像データ)を生成してもよい。なお、画像データは静止画であり、映像データは動画である。撮像デバイス10は、画像データ(映像データ)を文字認識装置40に出力する。以下、画像データおよび映像データのことを撮像画像と称する。なお、図3の例では、1つの撮像デバイス10を示しているが、文字認識システム1は複数の撮像デバイスを含んで構成されてもよい。文字認識システムが複数の撮像デバイスを含んで構成される場合、当該複数の撮像デバイスは、トレイラを複数の角度から撮像可能に配置されることが好ましい。
【0033】
データベース20は、記憶媒体(例えばフラッシュメモリ、Hard Disk Drive(以下、「HDD」と称する)、Solid State Drive(以下、「SSD」と称する))を用いて構成される。データベース20は、トレイラID/コンテナIDを保持する。データベース20に保持されるトレイラID/コンテナIDは、例えば、出発地点、中継地点または目的地点等に到着予定のトレイラに記載されるトレイラID/コンテナIDであってもよい。また、データベース20に保持されるトレイラID/コンテナIDは、例えば、過去に識別されたトレイラID/コンテナIDであってもよい。データベース20に保持されるトレイラID/コンテナIDは、予めユーザにより登録されてもよいし、文字認識装置40により選定されたトレイラID/コンテナIDが、文字認識装置40により登録されてもよい。データベース20に保持されるトレイラID/コンテナIDは、まとめてマスタデータ21として扱われる。以下、マスタデータ21として保持されるトレイラID/コンテナIDを、正解IDと称することがある。なお、データベース20は、文字認識装置40に組み込まれてもよい。
【0034】
表示デバイス30は、文字認識装置40による文字列の選定の結果を表示する。表示デバイス30は、例えば、Personal Computer(以下、「PC」と称する)、タブレットまたは携帯電話等の、表示部を備える端末である。表示デバイス30は、文字認識装置40と一体に構成されてもよい。なお、表示デバイス30は複数個あってもよい。文字認識システム1が複数個の表示デバイス30を含む場合、表示デバイス30の形態およびユーザは異なっていてもよい。例えば、事務所に配置されたPC等と作業者が所持するタブレット等とに文字列の選定の結果が表示されるようにしてもよい。この場合、各表示デバイス30は、各表示デバイス30の性能または各表示デバイス30のユーザに求められる作業に応じて、表示する情報の詳細さ等を変えてもよい。また、本実施の形態において、表示デバイス30は設けられていなくてもよい。これは、文字認識装置40が、選定したトレイラID/コンテナIDを保存したり、他のシステムへ転送したりする場合、文字列の選定の結果をユーザが目視で確認する必要があるとは限らないためである。
【0035】
文字認識装置40は、プロセッサ41、通信I/F42およびメモリ43を少なくとも含む。文字認識装置40は、例えばPC等の演算装置である。なお、本明細書では、文字認識装置40が1つの演算装置として構成されている例を説明するが、文字認識装置40は複数の装置が協働してその機能を実現するものであってもよいし、クラウドとして実現されてもよい。
【0036】
プロセッサ41は、例えばCentral Processing Unit(以下、「CPU」と称する)、Digital Signal Processor(以下、DSPと称する)、もしくはField Programmable Gate Array(以下、「FPGA」と称する)を用いて構成される。プロセッサ41は、文字認識装置40の全体的な動作を司るコントローラとして機能する。プロセッサ41は文字認識装置40の各部の動作を統括するための制御処理、文字認識装置40の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ41は、メモリ43に記憶されたプログラムに従って動作する。プロセッサ41は、動作時にメモリ43を使用し、プロセッサ41が生成または取得したデータをメモリ43に一時的に保存する。プロセッサ41は、メモリ43に記憶されたプログラムおよびデータを用いることで、文字列検出部41A、文字列認識部41Bおよび文字列選定部41Cのそれぞれの機能を実現する。
【0037】
検出部の一例としての文字列検出部41Aは、撮像デバイス10から取得した撮像画像の中から文字列を検出する。文字列検出部41Aは、機械学習等の公知の技術を用いて文字列を検出する。
【0038】
認識部の一例としての文字列認識部41Bは、文字列検出部41Aによって検出された文字列の文字認識を行う。文字列認識部41Bは、Optical Character Recognition(以下、「OCR」と称する)等の公知の技術を用いて文字列を文字認識する。なお、本実施の形態の説明において、文字認識はOCRにより実行される。
【0039】
選定部の一例としての文字列選定部41Cは、文字列認識部41Bによって認識された1つまたは複数の文字列から、トレイラID/コンテナIDを選定する。文字列選定部41Cは、後述する各種処理および各種フィルタの適用により、トレイラID/コンテナIDを選定する。選定のための各種処理および各種フィルタの詳細については、後述する。文字列選定部41Cは、選定したトレイラID/コンテナIDを通信I/F42に出力する。
【0040】
通信I/F42は、文字認識装置40が撮像デバイス10、データベース20および表示デバイス30との間で無線または有線で通信を行うためのインターフェース回路である。ここでI/Fは、インターフェースのことを表す。通信I/F42は、ネットワークを介して通信を行ってもよい。通信I/F42による通信方式は、例えば、Wide Area Network(以下、「WAN」と称する)、Local Area Network(以下、「LAN」と称する)、Long Term Evolution(以下、「LTE」と称する)、4G、5G等の移動体通信、電力線通信、近距離無線通信(例えばBluetooth(登録商標)通信)または携帯電話用の通信等である。
【0041】
メモリ43は、例えばRandom Access Memory(以下、「RAM」と称する)とRead Only Memory(以下、「ROM」と称する)とを用いて構成され、文字認識装置40の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。RAMは、例えば、文字認識装置40の動作中に使用されるワークメモリである。ROMは、例えば、文字認識装置40を制御するためのプログラムを予め記憶して保持する。
【0042】
次に、図4を参照して、文字認識装置40が実行する処理のフローチャートを説明する。図4は、文字認識装置40が実行する処理のフローチャートである。図4に係るフローチャートの各処理は、プロセッサ41によって実行される。なお、本フローチャートの開始時点で、プロセッサ41は、撮像デバイス10から撮像画像を取得している。説明の便宜上、当該撮像画像には、複数の文字列が含まれているものとする。
【0043】
文字列検出部41Aは、撮像デバイス10から取得した撮像画像に文字列と思われる画像が含まれている場合、その撮像画像から少なくとも1つの文字列を検出し、文字列認識部41Bは、当該文字列の文字認識を行う(ステップSt100)。説明の便宜上、認識された文字列は複数あるとする。なお、文字検出部41Aは、撮像画像の中からトレイラまたはコンテナの領域を検出し、その範囲から文字列を検出してもよい。撮像画像には、標識等のトレイラID/コンテナIDとは無関係な文字列が含まれていたり、文字列のように見える影などが含まれていたりする場合がある。そのため、文字検出部41Aは、文字列を検出する領域をトレイラまたはコンテナだと推定された領域に限定することで、トレイラID/コンテナIDとは無関係な文字列および文字列のように見える影等が、トレイラID/コンテナIDの候補として検出されてしまうことを防ぐことができる。なお、撮像画像からトレイラまたはコンテナの領域を検出する機能は、パターンマッチングあるいはトレイラまたはコンテナの画像を機械学習させた学習済みモデルを利用することで実現できる。
【0044】
文字列認識部41Bは、ステップSt100の処理で認識した文字列に対して補正を実行する(ステップSt101)。補正の内容については後述する。
【0045】
文字列選定部41Cは、ステップSt101の処理で補正が行われた文字列と、当該補正前の文字列とに対して除外フィルタを適用する(ステップSt102)。これにより、ステップSt100で認識された複数の文字列から、特定の特徴を有する文字列が除外(削除)される。除外フィルタの内容については後述する。説明の便宜上、除外フィルタ適用後の文字列は複数あるとする。
【0046】
文字列選定部41Cは、ステップSt102の処理で除外されなかった文字列に対して、優先フィルタを適用する(ステップSt103)。これにより、文字列選定部41Cは、認識された文字列のうち、規定の表記フォーマットに適合する文字列をトレイラID/コンテナIDの候補として選定する。優先フィルタの内容については後述する。説明の便宜上、トレイラID/コンテナIDの候補は複数あるとする。
【0047】
文字列選定部41Cは、ステップSt103の処理で選定された文字列に対して、最頻値選定を実行し、トレイラID/コンテナIDの候補を更に選定する。(ステップSt104)。最頻値選定の内容については後述する。説明の便宜上、最頻値選定後のトレイラID/コンテナIDの候補は複数あるとする。
【0048】
文字列選定部41Cは、マスタフィルタによる選定を行う(ステップSt105)。ステップSt105の処理については、図6に示すフローチャートを参照して後述する。説明の便宜上、マスタフィルタによる選定後のトレイラID/コンテナIDの候補は複数あるとする。
【0049】
文字列選定部41Cは、ステップSt105の処理で選定された文字列に対して残データ選定を実行し、1つのトレイラID/コンテナIDを最終選定する(ステップSt106)。これにより、撮影したトレイラの識別に係る1つのトレイラID/コンテナIDが選定される。残データ選定の内容については後述する。
【0050】
プロセッサ41は、ステップSt106の結果を表示デバイス30に出力する(ステップSt107)。なお、ステップSt107の処理は省略されてもよい。
【0051】
次に、図5を参照して、図4のフローチャートで登場した各処理および各フィルタについて説明する。図5は、本実施の形態に係るトレイラID/コンテナIDの選定ロジックを説明するためのテーブル図である。
【0052】
図4のフローチャートのステップSt101で、文字列認識部41Bが文字列に対して実行する補正処理の内容について説明する。補正処理は、撮像画像から認識された文字列を、後続する各処理において取り扱いやすい形に補正する処理である。補正処理として、例えば、ハイフン等の誤認識され易い文字を除外したり、「1」と「I」などの相互に誤認識され易い文字を置換したりすることが考えられる。
【0053】
文字列認識部41Bは、補正処理により、認識した文字列の中にハイフンが含まれている場合、当該ハイフンを削除する。ハイフンは、トレイラの汚れなどが誤認識され易い文字である。また、トレイラID/コンテナIDを利用する管理システム等のシステムにおいて、ハイフンを含むトレイラID/コンテナIDとハイフンを含まないトレイラID/コンテナIDとを区別して取り扱うことは稀である。そこで、本明細書では、トレイラID/コンテナIDを、ハイフンを含まない形式で管理することを想定している。しかし、認識されたトレイラID/コンテナIDを利用する他のシステムにおいて、ハイフンを含む形式のトレイラID/コンテナIDが利用されている場合など、ハイフンを削除しない方がよいこともある。そのため、ハイフンを削除する処理を実行するか否かは、ユーザによって切り替え可能としてもよい。
【0054】
文字列認識部41Bは、補正処理により、撮像画像の端にある文字または数字を認識した場合、当該文字または数字を削除する。撮像画像の端では、文字が見切れている場合があり、正確な認識結果が得られない場合があるためである。例えば、「8」の左半分しか撮像画像に含まれていない場合、「8」が「E」であると誤認識される可能性がある。また、「8」の右半分しか撮像画像に含まれていない場合、「8」が「3」であると誤認識される可能性がある。なお、撮像画像の端をどの程度の幅(言い換えると、領域)にするかは、ユーザの指定に応じて変更可能としてもよい。また、撮像画像の端にある文字または数字を認識した場合、当該文字または数字を含む文字列全体を削除してもよい。上述した通り、撮像画像の端から認識された文字は誤認識されている可能性があるため、そのような文字を含む文字列をトレイラID/コンテナIDの候補としても、正確なトレイラID/コンテナIDが得られないことがあるためである。
【0055】
文字列認識部41Bは、補正処理により、認識した文字列の中に誤認識されやすい文字または数字が含まれている場合、当該文字または数字を変換する。例えば、文字列認識部41Bは、認識した文字列の中に数字の「1」が含まれている場合、数字の「1」は英文字の「I」と誤認識されやすいと判断し、数字の「1」を英文字の「I」と変換する。誤認識されやすいかどうかの判断基準は、例えばユーザにより予め設定されてもよい。文字列認識部41Bは、認識した文字列において、後述する表記フォーマットにて英文字の部分と規定されている箇所が規定の数字である場合、当該数字を規定の英文字に変換してもよい。また、文字列認識部41Bは、認識した文字列において、後述する表記フォーマットにて数字の部分と規定されている箇所が規定の英文字である場合、当該英文字を規定の数字に変換してもよい。プロセッサ41は、変換処理を行った場合、変換前の文字列はそのまま残し、変換後の文字列を新たに認識した文字列として追加する。すなわち、文字列認識部41Bは、変換前の文字列と変換後の文字列の両方の文字列をトレイラID/コンテナIDの候補として残す。これにより、文字列選定部41Cは、変換後の文字列と変換前の文字列とを、文字列選定部41CによるトレイラID/コンテナIDの選定の対象とする。これは、トレイラID/コンテナIDが未知の表記フォーマットで記載されている場合、既知の表記フォーマットに合致させた変換後の文字列の方が正しいトレイラID/コンテナIDではなくなっていることがあるためである。
【0056】
図4のフローチャートのステップSt102で、文字列選定部41Cが文字列に対して適用する除外フィルタの内容について説明する。除外フィルタは、トレイラID/コンテナIDではないと想定されるパターンを持つ文字列を、候補から除外するためのフィルタである。除外フィルタは、例えば、OCRによる認識結果自体が信頼できない文字列、トレイラID/コンテナIDに含まれる可能性の低い文字列が含まれている文字列、文字数が極端に短い文字列等を除外する。トレイラID/コンテナIDに含まれる可能性の低い文字列の例としては、例えば、トレイラID/コンテナIDとは異なる規格で定められた文字列などが考えられる。
【0057】
文字列選定部41Cは、除外フィルタの適用により、認識した文字列のうちOCRの信頼スコアが所定の閾値以下の文字列を除外する。信頼スコアとは、OCRにより認識した文字列の正確性を表すスコアである。当該閾値は、例えばユーザにより予め設定されていてよい。文字列選定部41Cは、除外フィルタの適用により、認識した文字列のうち、すべて英文字の文字列を、トレイラID/コンテナIDの候補から除外する。文字列選定部41Cは、除外フィルタの適用により、認識した文字列のうち、プレフィックスが特定の英文字の文字列を、トレイラID/コンテナIDの候補から除外する。本明細書においてプレフィックスとは、文字列の先頭の英文字列のことを意味する。例えば、「AAA1234」という文字列のプレフィックスは「AAA」である。例えば、「USDOT」あるいは「KYU」等のプレフィックスを有する文字列がトレイラID/コンテナIDたり得ないと予め知られている場合、ユーザは、当該プレフィックスを有する文字列が除外されるように設定できる。なお、ここではプレフィックスに基づいてトレイラID/コンテナIDの候補を除外しているが、これは、プレフィックスが特定の英文字である文字列がトレイラID/コンテナIDではないことが既知であるためである。例えば、プレフィックスが「USDOT」である文字列は、アメリカ合衆国運輸省による監査用の番号の表記フォーマットであることが知られている。しかし、プレフィックスに基づいてトレイラID/コンテナIDの候補を除外する構成は一例であり、他の文字列に基づいてトレイラID/コンテナIDの候補を除外してもよい。例えば、特定の数字、または文字列の後半に含まれる文字列が、トレイラID/コンテナIDで使用されないことが既知の場合は、そのような数字または文字列が現れる候補を除外するように除外フィルタが構成されてもよい。
【0058】
文字列選定部41Cは、除外フィルタの適用により、認識した文字列のうち、所定の文字数に満たない文字列を、トレイラID/コンテナIDの候補から除外する。所定の文字数としては、例えば、3文字などが考えられる。3文字未満の文字列は、コンテナの寸法などを示している場合が多く、トレイラID/コンテナIDの候補としては適さないことが多いためである。また、文字列選定部41Cは、除外フィルタの適用により、認識した文字列のうち、英文字または数字ではない文字または図形等が誤認識された文字列を、トレイラID/コンテナIDの候補から除外する。トレイラID/コンテナIDは複数の国で疑義なく読み取れる文字列から構成されていることが多く、ひらがな等の使用されている地域が限られる文字または図形等が使用される可能性は低いためである。
【0059】
図4のフローチャートのステップSt103で、文字列選定部41Cが文字列に対して適用する優先フィルタの内容について説明する。優先フィルタは、トレイラID/コンテナIDである可能性が高い文字列を選定するフィルタである。優先フィルタは、例えば、トレイラID/コンテナIDとして知られている表記フォーマットに合致する文字列を選定する。
【0060】
文字列選定部41Cは、優先フィルタの適用により、認識した文字列のうち、規定の表記フォーマットに適合する文字列を、トレイラID/コンテナIDの候補として選定する。当該表記フォーマットは、例えば、文字列における英文字の部分と数字の部分とを規定する。例えば、文字列選定部41Cは、優先フィルタの適用により、文字列の先頭2文字が英文字で、かつ、当該英文字に数字が後続する文字列をトレイラID/コンテナIDの候補として選定する。例えば、文字列選定部41Cは、優先フィルタの適用により、文字列の先頭4文字が英文字で、かつ、当該英文字に数字が後続する文字列をトレイラID/コンテナIDの候補として選定する。なお、本実施の形態では、トレイラIDとコンテナIDとを区別せずに管理することを想定しているため、文字列選定部41Cは、文字列がトレイラIDの表記フォーマットに合致する場合もコンテナIDの表記フォーマットに合致する場合も、トレイラID/コンテナIDの候補として選定している。しかし、トレイラIDとコンテナIDとを区別して取り扱う必要がある場合は、それぞれの表記フォーマットに合致するIDの候補として取り扱ってもよい。例えば、文字列の先頭2文字が英文字で、かつ、当該英文字に数字が後続する文字列をトレイラIDの候補として取扱い、文字列の先頭4文字が英文字で、かつ、当該英文字に数字が後続する文字列をコンテナIDの候補として選定してもよい。
【0061】
また、トレイラIDとコンテナIDとを区別して取り扱う場合、機械学習を用いて作成された判別器を用いて、文字列がトレイラIDであるかコンテナIDであるかを区別してもよい。判別器は、例えば、トレイラIDを示す文字列の例とコンテナIDを示す文字列の例とを区別して大量に機械学習させることで作成することができる。機械学習の手法は様々なものが知られているため、本実施の形態では、詳細な説明は省略する。なお、機械学習させるトレイラIDを示す文字列とコンテナIDを示す文字列とには、ユーザがトレイラIDまたはコンテナIDとしてトレイラ等の管理等のためのシステムに手動で入力する結果を用いてもよいし、上述した表記フォーマットに基づく選定結果を用いてもよい。
【0062】
また、トレイラIDとコンテナIDとを区別して取り扱う場合、トラクタが牽引する車両の種別の推定結果を用いて、文字列がトレイラIDであるかコンテナIDであるかを区別してもよい。例えば、トラクタが牽引している車両が、コンテナと台車との組である場合、検出された文字列はコンテナIDであるものとして取り扱う。一方、トラクタが牽引している車両が、貨物を格納する部位と車輪等が一体となった車両である場合、検出された文字列はトレイラIDであるものとして取り扱う。トラクタが牽引する車両の種別の推定には、例えば、機械学習を用いて作成された判別器が用いられる。より具体的には、コンテナの画像と、貨物を格納する部位と車輪等とが一体となった車両の画像とを区別して機械学習を行うことが考えられる。機械学習の手法は様々なものが知られているため、本実施の形態では、詳細な説明は省略する。この場合、判別器の処理対象とする領域を絞り込むために、画像からトラクタを検出する処理を事前に行い、その検出結果に基づいてトラクタに牽引されている車両の領域を推定してもよい。画像からトラクタを検出する処理は、例えば、トラクタの画像を機械学習させた学習済みモデルを用いることで実現できる。なお、トラクタが牽引する車両がコンテナと台車との組である場合、更に、文字列がコンテナと台車とのどちらに記載されているのかに応じて、その文字列をコンテナIDとトレイラIDとのどちらとして取り扱うのかを決定してもよい。例えば、文字列がコンテナに記載されている場合はコンテナIDとして取り扱い、文字列が台車部分に記載されている場合にはトレイラIDとして取り扱うことが考えられる。
【0063】
補正についての説明で記述したように、文字列認識部41Bは、表記フォーマットに基づいて補正処理を実行してもよい。例えば文字列が、文字列の先頭4文字が英文字で、かつ、当該英文字に数字が後続する文字列であると表記フォーマットにより規定されている場合、文字列認識部41Bは、当該表記フォーマットに基づいて補正処理を実行してもよい。文字列認識部41Bは例えば、「HG1U21456」という文字列を認識した場合、文字列の先頭4文字が英文字であるという規定に基づいて、「HG1U」内の「1」を「I」に変換する。また、文字列認識部41Bは、英文字に数字が後続するという規定に基づき、「21456」内の「1」は変換しない。これにより、認識された文字列に「HGIU21456」という文字列が新たに追加される。
【0064】
文字列選定部41Cは、優先フィルタの適用により、認識した文字列のうち、文字の高さが所定の高さよりも高い文字列を、トレイラID/コンテナIDの候補として選定してよい。ここで、文字の高さとは、文字の縦方向の長さを意味する。一般的に、文字の高さが高い文字ほど文字が大きい可能性が高く、大きな文字ほどOCRによって文字が正確に認識されている可能性が高い。そのため、文字の高さが高い文字列をトレイラID/コンテナIDの候補として選定することで、文字が正しく認識されている可能性の高い文字列を候補として選定することができる。また、優先フィルタを適用した結果、トレイラID/コンテナIDの候補が複数残っている場合に、文字の高さが高い文字列を他の候補よりもトレイラID/コンテナIDである可能性が高い候補として採用してもよい。なお、文字の大きさではなく高さを評価している理由は、トレイラID/コンテナIDが縦長の文字列で記載されることが多かったり、本実施の形態の撮像画像がトレイラを進行方向の前方または後方から撮影されたりしていることにより、文字の幅が正確に検出できないことがあるためである。なお、トレイラを他の角度から撮像している場合など、文字の幅が正確に検出できる場合は、文字の高さに替えて文字の大きさが用いられてもよい。
【0065】
また、文字列選定部41Cは、優先フィルタの適用により、認識した文字列のうち、縦書きの文字列をトレイラID/コンテナIDの候補として選定してよい。これは、一般的に、電話番号やURL等のトレイラID/コンテナIDではない文字列は横書きの文字列として記載される可能性が高く、縦書きの文字列はトレイラID/コンテナIDの候補である可能性が高いためである。
【0066】
また、文字列選定部41Cが優先フィルタの適用により選定するトレイラID/コンテナIDの候補は、トレイラIDの候補およびコンテナIDの候補のうちいずれか一方である。これは、トレイラIDとコンテナIDとのいずれか一方が識別できれば、ヤードに出入りするトレイラまたはコンテナを一意に管理できるためであり、また、トレイラIDとコンテナIDとのいずれか一方しかトレイラに記載されていない場合も多いためである。文字列選定部41Cは、優先フィルタの適用時点で、最終的に選定すべき文字列がトレイラIDであるかコンテナIDであるかを判断してよい。優先フィルタ適用後の処理、すなわち図4のフローチャートのステップSt104以降の処理では、トレイラIDの候補とコンテナIDの候補とのうちいずれか一方が処理対象となってよい。
【0067】
図4のフローチャートのステップSt104で、文字列選定部41Cが文字列に対して実行する最頻値選定の内容について説明する。最頻値選定は、トレイラID/コンテナIDの候補のうち、最も高い頻度で認識された文字列をトレイラID/コンテナIDとして選定する処理である。撮像デバイス10がトレイラID/コンテナIDの撮影に適した画角に設定されていることから、正しいトレイラID/コンテナIDは複数の撮像タイミングで撮像した画像から同一の文字列として認識される可能性が高い。しかし、文字列が誤認識されている場合には認識結果が不安定になり易くなることから、複数の撮像タイミングで撮像した画像から同じ文字列が認識される可能性が低くなる。すなわち、複数のタイミングで撮像した画像から同一の文字列が認識されている場合、その文字列は正しいトレイラID/コンテナIDである可能性が高い。そこで、最頻値選定では、この性質を利用して、正しいトレイラID/コンテナIDを選定している。
【0068】
文字列認識部41Bにより認識される文字列は、撮像デバイス10が撮像した画像に含まれる。移動するトレイラを撮像デバイス10が撮像する際、撮像デバイス10は例えば、当該トレイラを前方、側方および後方から撮像する。このとき、撮像デバイス10がトレイラを前方から撮像した画像、側方から撮像した画像および後方から撮像した画像のそれぞれに同一の文字列が含まれている場合がある。または、1つの撮像画像に同一の文字列が複数含まれていてもよい。この場合、文字列認識部41Bは、当該文字列を複数回認識する。
【0069】
文字認識システム1が、撮像デバイス10を含む複数の撮像デバイスを含んでいてもよい。複数の撮像デバイスがトレイラを複数の角度から撮像可能に配置され、文字列認識部41Bは、複数の角度から撮像されたトレイラの複数の撮像画像から文字列を認識してもよい。この場合も、1つまたは複数の撮像画像に同一の文字列が複数含まれ得る。したがって、文字列認識部41Bは当該文字列を複数回認識し得る。
【0070】
文字列選定部41Cは、最頻値選定により、トレイラID/コンテナIDの候補から、当該トレイラID/コンテナIDの候補が1つまたは複数の撮像画像から認識された回数に基づいて、トレイラID/コンテナIDを選定する。言い換えると、文字列選定部41Cは、トレイラID/コンテナIDの候補となる文字列が、1つまたは複数の撮像デバイスが撮像した1つまたは複数の撮像画像に現れる頻度の高さに基づいて、トレイラID/コンテナIDを選定する。以下、文字列が文字列認識部41Bにより認識された回数のことを、カウント数と称することがある。
【0071】
文字列選定部41Cは、例えば、最もカウント数が大きいトレイラID/コンテナIDの候補を、トレイラID/コンテナIDとして選定する。文字列選定部41Cは、例えば、カウント数が所定の閾値以上のトレイラID/コンテナIDの候補を、トレイラID/コンテナIDとして選定する。当該閾値は、ユーザにより予め設定されていてよい。文字列選定部41Cは、例えば、カウント数が同じトレイラID/コンテナIDの候補が複数ある場合、文字数が多い文字列を優先して選定してもよい。また、文字列選定部41Cは、最頻値選定を実行する際、優先フィルタのいずれかの基準の適用により選定されなかったトレイラID/コンテナIDの候補を含めてカウント数を算出してもよい。これは、例えば、優先フィルタの適用によって、縦書きの文字列のみを選定したりした場合、横書きの文字列がトレイラID/コンテナIDの候補から除外され、正しいトレイラID/コンテナIDが候補に残らなくなるおそれがあるためである。
【0072】
文字列選定部41Cは、最頻値選定により、トレイラID/コンテナIDの候補からトレイラID/コンテナIDを1つに絞ることができる。文字列選定部41Cは、最頻値選定により、トレイラID/コンテナIDを1つに絞れなかった場合、後述する「マスタフィルタ」および/または「残データ選定」による選定を実行する。最頻値選定によりトレイラID/コンテナIDを1つに絞れない場合の具体例としては、カウント数が同一のトレイラID/コンテナIDの候補が複数ある場合が考えられる。また、最頻値選定によるカウント数の差が小さいトレイラID/コンテナIDの候補が複数ある場合も、後述する「マスタフィルタ」および/または「残データ選定」による選定を実行するようにしてもよい。これは、カウント数の差が小さい場合、最頻値選定の観点からは、トレイラID/コンテナIDの候補の間で明白な優劣がついていないため、1つに絞った結果自体が誤っている可能性があるためである。また、最頻値選定のカウント数が少ない場合にも、後述する「マスタフィルタ」および/または「残データ選定」による選定を実行するようにしてもよい。これは、この場合、最頻値の評価の基礎となる情報が乏しく、最頻値選定の結果自体が十分に信頼できないためである。
【0073】
なお、上記の説明では、説明を簡単にするため最もカウント数が大きい候補をトレイラID/コンテナIDとして選定する例を説明しているが、一定時間内のカウント数に基づき、トレイラID/コンテナIDが認識された頻度を評価し、最も頻度が高い候補をトレイラID/コンテナIDとして選定してもよい。
【0074】
図4のフローチャートのステップSt106で、文字列選定部41Cが文字列に対して実行する残データ選定の内容について説明する。「残データ選定」は、ステップSt105までの処理を経てもなお、トレイラID/コンテナIDを絞れなかった場合に、トレイラID/コンテナIDを選定する処理である。残データ選定では、例えば、文字数の多さに基づいてトレイラID/コンテナIDとして選定する。これは、トレイラまたはコンテナは多数取り扱われているため、各トレイラまたはコンテナを区別するために用いられるトレイラID/コンテナIDは重複を避けるために比較的長い文字列になる可能性が高いためである。
【0075】
文字列選定部41Cは、残データ選定により、トレイラID/コンテナIDの候補のうち、最も文字数が多い文字列をトレイラID/コンテナIDとして選定する。文字列選定部41Cは、他の処理およびフィルタによる選定でトレイラID/コンテナIDを1つに絞れなかった場合に、残データ選定を実行する。なお、残データ選定は、ステップSt105までの処理と比べて、結果を信頼できる根拠に乏しい。そのため、文字列選定部41Cは、残データ選定において、残データ処理として、例えば、トレイラID/コンテナIDを確認できなかった旨を示す情報を出力するようにしてもよい。この場合、トレイラID/コンテナIDとして最も文字数が多い文字列を合わせて出力してもよいし、トレイラID/コンテナID自体を出力しないようにしてもよい。このようにすることで、確実性の高いトレイラID/コンテナIDを選定することができなかったことをユーザまたは外部のシステムに伝えることができるため、目視等によるトレイラID/コンテナIDの確認を促すことができる。
【0076】
図4のフローチャートのステップSt105で、文字列選定部41Cが文字列に対して適用するマスタフィルタの内容について説明する。マスタフィルタは、トレイラID/コンテナIDの候補が、トレイラID/コンテナIDであることが分かっている文字列として保持されているマスタデータ21(正解ID)に類似しているか否かに基づいて、その候補がトレイラID/コンテナIDであるかを判定するフィルタである。一例として、マスタデータ21は、過去にトレイラID/コンテナIDであるものとして記録された文字列である。マスタデータ21は、必ずしもOCRで認識されたものである必要はなく、トレイラID/コンテナIDの認識が自動化されていないヤード等で作業者が手動で入力した文字列であってもよい。また、物流全体を管理する上位システムから、ヤードに出入りする予定のトレイラID/コンテナIDの情報等が取得できる場合は、これらの情報をマスタデータ21として用いてもよい。なお、マスタデータ21は、必ずしもヤードに出入りするトレイラそのものに記載されたトレイラID/コンテナIDと一致する情報を含まなくてもよい。これは、トレイラID/コンテナIDは、ある程度表記フォーマットが類似する傾向があるため、トレイラID/コンテナIDの候補とマスタデータ21との類似度を評価することで、マスタデータ21と完全には一致していない候補であっても、トレイラID/コンテナIDである可能性を推測することができるためである。例えば、トレイラID/コンテナIDが運送会社名と数字との組み合わせから構成されている場合、マスタデータ21と候補とで数字が異なっていても、運送会社名は共通している場合がある。この場合、トレイラID/コンテナIDの候補とマスタデータ21とは完全には一致していなくとも類似度が高く評価されるため、トレイラID/コンテナIDの候補はトレイラID/コンテナIDである可能性が高いと判定できる。
【0077】
文字列選定部41Cは、トレイラID/コンテナIDの候補のうち、当該トレイラID/コンテナIDの候補と、予め保持されたトレイラID/コンテナIDのマスタデータ21との類似度が所定の閾値以上であるトレイラID/コンテナIDの候補を、トレイラID/コンテナIDとして選定する。ここで、類似度とは、文字列同士(例えば、トレイラIDとマスタデータ21のトレイラID)がどれぐらい似ているかを示す数値である。類似度は、例えば、文字列同士のレーベンシュタイン距離に基づいて算出される。ただし、文字列の類似度は、他の手法に基づいて評価されてもよい。例えば、一致している文字の数や、文字列全体における一致している文字の比率などで評価することが考えられる。マスタフィルタによる選定処理の詳細は、図6を参照して後述する。
【0078】
文字列選定部41Cは、マスタフィルタによる選定を実行することで、トレイラID/コンテナIDの候補からトレイラID/コンテナIDを1つに絞ることができる。文字列選定部41Cは、マスタフィルタによる選定により、トレイラID/コンテナIDを1つに絞れなかった場合、前述した「残データ選定」による選定を実行する。
【0079】
次に、図6を参照して、トレイラID/コンテナIDの候補のマスタフィルタによる選定に係る処理を説明する。図6は、本実施の形態に係るマスタフィルタによる選定処理のフローチャートである。図6のフローチャートに係る各処理はプロセッサ41によって実行される。図6のフローチャートの開始時点において、図4のフローチャートのステップSt104の処理が完了している。このとき、トレイラID/コンテナIDの候補が複数残っているとして説明する。
【0080】
文字列選定部41Cは、トレイラID/コンテナIDの候補を取得する(ステップSt200)。ここで、取得とは、後述する各処理で取り扱うために着目することを意味する。
【0081】
文字列選定部41Cは、ステップSt200で取得したトレイラID/コンテナIDの候補のうちいずれかと一致するトレイラID/コンテナIDを検索するために、マスタデータ21を検索する(ステップSt201)。
【0082】
文字列選定部41Cは、ステップSt200で取得したトレイラID/コンテナIDの候補のうちいずれかと一致するトレイラID/コンテナIDがマスタデータ21として保持されている場合(ステップSt202;YES)、当該トレイラID/コンテナIDを採用(選定)する(ステップSt203)。そして、文字列選定部41Cは本処理フローを終了する。
【0083】
文字列選定部41Cは、ステップSt200で取得したトレイラID/コンテナIDの候補のうちいずれかと一致するトレイラID/コンテナIDがマスタデータ21として保持されていない場合(ステップSt202;NO)、正解IDと称される、マスタデータ21として予め保持されているトレイラID/コンテナIDをすべて取得する(ステップSt204)。
【0084】
文字列選定部41Cは、正解IDとの類似度の算出が未完了のトレイラID/コンテナIDの候補のうちいずれか1つに着目する(ステップSt205)。
【0085】
文字列選定部41Cは、ステップSt205で着目したトレイラID/コンテナIDの候補の、ステップSt204で取得した正解IDすべてのそれぞれとの類似度を算出する(ステップSt206)。例えば、ステップSt204で取得された正解IDが100個ある場合、文字列選定部41Cは、トレイラID/コンテナIDの候補の、100個の正解IDそれぞれとの類似度を算出する。この場合、文字列選定部41Cは、100個の類似度を算出する。
【0086】
文字列選定部41Cは、ステップSt204で取得した正解IDのうち、ステップSt206で算出したトレイラID/コンテナIDの候補との類似度が最大の正解ID、および、当該類似度を保持する(ステップSt207)。保持とは、文字列選定部41Cが、トレイラID/コンテナIDの候補、当該トレイラID/コンテナIDの候補との類似度が最大の正解IDおよび当該類似度をそれぞれ紐付けて記憶することを指す。
【0087】
正解IDとの類似度の算出が未完了のトレイラID/コンテナIDの候補が残っている場合(ステップSt208;YES)、プロセッサ41の処理はステップSt205に戻り、処理を繰り返す。これにより、すべてのトレイラID/コンテナIDの候補それぞれの、すべての正解IDそれぞれとの類似度が算出される。例えば、トレイラID/コンテナIDの候補が10個ある場合、文字列選定部41Cは、ステップSt205、ステップSt206およびステップSt207の一連の処理を10回繰り返す。このとき、文字列選定部41Cは、10個のトレイラID/コンテナIDの候補それぞれに対する類似度が最大の正解ID、および当該類似度を保持する。
【0088】
図7を参照して具体例を示す。図7は、本実施の形態に係る類似度を説明するためのテーブル図である。図7の例では、トレイラID/コンテナIDの候補は、「UC15Y」、「2346」、「UC15YARD2」、「7FHV188」、「1D2346」および「5YARD」の6個である。正解IDは、例えば10個あってもよいし、100個あってもよい。図7の例では、プロセッサ41は、トレイラID/コンテナIDの候補「UC15Y」とすべての正解IDそれぞれとの類似度を算出し、最も類似度が高く算出された正解ID「UC15B6」と、そのときの類似度0.67とを保持する。同様に、文字列選定部41Cは、他の5つのトレイラID/コンテナIDの候補それぞれに対する類似度が最大となる正解IDと、そのときの類似度とを保持する。
【0089】
正解IDとの類似度の算出が未完了のトレイラID/コンテナIDの候補が残っていない場合(ステップSt208;NO)、文字列選定部41Cは、ステップSt207で保持した類似度のうち最大の類似度が、所定の閾値以上であるか否かを判定する(ステップSt209)。例えば、トレイラID/コンテナIDの候補が10個ある場合、類似度も10個保持される。このとき、文字列選定部41Cは、10個の類似度のうち最大の類似度が、所定の閾値以上であるか否かを判定する。当該閾値は、例えばユーザにより予め設定されてよい。
【0090】
図7の例では、文字列選定部41Cは、6個保持した類似度のうち最大の類似度である0.67が、所定の閾値以上であるか否かを判定する。
【0091】
文字列選定部41Cは、ステップSt207で保持した類似度のうち最大の類似度が、所定の閾値以上である場合(ステップSt209;YES)、当該最大の類似度に紐付けされたトレイラID/コンテナIDの候補を採用する(ステップSt210)。そして、本処理フローを終了する。
【0092】
図7の例では、最大の類似度は0.67である。例えば、所定の閾値が0.6である場合、文字列選定部41Cは、最大の類似度が所定の閾値以上であると判定する。このとき、文字列選定部41Cは、当該類似度(0.67)に紐付けされたトレイラID/コンテナIDの候補「UC15Y」を採用する。
【0093】
文字列選定部41Cは、ステップSt207で保持した類似度のうち最大の類似度が、所定の閾値以上でない場合(ステップSt209;NO)、本処理フローにおけるトレイラID/コンテナIDの選定は行わない(ステップSt211)。そして、本処理フローを終了する。
【0094】
例えば、図7の例において、所定の閾値が0.7である場合、最大の類似度0.67は当該閾値以上ではない。このとき、文字列選定部41Cは、マスタフィルタによるトレイラID/コンテナIDの選定は行わず、本処理フローを終了する。
【0095】
(その他変形例)
上述した実施の形態において、図4のフローチャートの各処理は、文字認識装置40のプロセッサ41が実行する例を示した。しかしこれに限定するものではなく、例えば、図4のフローチャートの各処理は、複数のPCに分散されてもよい。例えば、トレイラの出発地点、中継地点または目的地点等に設置されたPCが、図4のフローチャートのステップSt102の処理までを実行し、ステップSt103以降の処理は企業等のサーバにおけるクラウド上で実行されてもよい。また、例えば、図4のフローチャートの各処理は、クラウド上に集約され、実行されてもよい。また、文字認識装置40に格納されているデータベース20をクラウド上のデータベースとしてもよい。特に、正解IDが複数のヤードでの認識結果などから収集される場合、データベース20を複数の文字認識装置40と接続されているクラウド上のデータベースとして実装する方が、データの管理が容易になる。また、表示デバイス(例えば、表示デバイス30)へ結果を出力する処理を、外部システムにトレイラID/コンテナIDの選定結果を送信する処理に置き換えたり、表示デバイスと外部システムとに結果を出力する処理に置き換えたりしてもよい。これは、選定されたトレイラID/コンテナIDは、トレイラ、コンテナ、または荷物の管理等にも使用することができるため、物流網の最適化等を行うシステムまたはそのようなシステムのオペレータ等でも利用可能であるためである。
【0096】
また、上述した実施の形態において、撮像デバイス10が撮像した画像から、文字認識装置40が文字認識等の各種処理を実行する例を示した。しかしこれに限定するものではなく、例えば撮像デバイス10に文字認識機能等を有するID認識プロセッサ等が組み込まれ、撮像デバイス10が文字認識およびトレイラID/コンテナIDの選定等の各種処理を実行してもよい。
【0097】
また、上述した実施の形態において、文字列選定部41Cは、優先フィルタの適用時点で、最終的に選定すべき文字列がトレイラIDであるかコンテナIDであるかを判断する例を示した。しかしこれに限定するものではなく、文字列選定部41Cは、トレイラIDを選定した場合の結果と、コンテナIDを選定した場合の結果との両方を得ることができる。すなわち、トレイラIDの選定とコンテナIDの選定とを同時並行で実行してもよい。例えばトレイラの管理者等のユーザにとっては、トレイラの管理等のために、トレイラIDとコンテナIDとのうちいずれか一方が選定できれば十分な場合がある。しかし、そのような場合でも、ユーザはトレイラIDの選定結果およびコンテナIDの選定結果をそれぞれ得ることもできる。
【0098】
また、上述した実施の形態において、文字列選定部41Cは、優先フィルタによる選定の後、最頻値選定、マスタフィルタによる選定、残データ選定の順で実行する例を示した。しかしこれに限定するものではなく、文字列選定部41Cは、最頻値選定によりトレイラID/コンテナIDを1つに絞ることができれば、マスタフィルタによる選定および残データ選定を実行せずに選定処理を終了してよい。同様に、文字列選定部41Cは、マスタフィルタによる選定でトレイラID/コンテナIDを1つに絞ることができれば、残データ選定を実行せずに選定処理を終了してよい。また、文字列選定部41Cは例えば、優先フィルタによる選定の後の、マスタフィルタによる選定、最頻値選定および残データ選定の実行順を入れ替えてもよい。また、文字列が検出された後の処理の順序は任意に入れ替えてもよい。例えば、ステップSt101をステップSt105の直前に移動し、補正した文字列をマスタフィルタによる選定のみに適用させること等が考えられる。当該実行順は、例えばユーザにより予め設定されてよい。例えば、文字列選定部41Cは、優先フィルタによる選定の後、残データ選定によりトレイラID/コンテナIDを1つに選定してもよい。また、上述した実施の形態において、文字列選定部41Cが行ういずれかの処理を省略したり、他の処理を追加したりしてもよい。
【0099】
また、上述した実施の形態において、文字列選定部41Cは、文字列に優先フィルタを適用し、トレイラID/コンテナIDの候補を選定する例を示した。このとき、文字列選定部41Cが選定するトレイラID/コンテナIDの候補の数が1つだけであってもよい。すなわち、文字列選定部41Cは、優先フィルタによりトレイラID/コンテナIDを1つに選定してもよい。
【0100】
また、上述した実施の形態において、文字列選定部41Cは、表記フォーマットに基づいた選定とマスタデータ21に基づいた選定とを実行する例を示した。しかしこれに限定するものではなく、文字列選定部41Cは、表記フォーマットに基づいた選定およびマスタデータ21に基づいた選定のうちいずれか一方を実行してもよい。例えば、文字列選定部41Cは、文字列に対する除外フィルタの適用後、優先フィルタによる選定、最頻値選定および残データ選定を実行することで、トレイラID/コンテナIDを選定してもよい。
【0101】
例えば、プロセッサ41は、文字列に対する除外フィルタの適用後、マスタフィルタによる選定、最頻値選定および残データ選定を実行することでトレイラID/コンテナIDを選定してもよい。マスタデータ21として保持されるトレイラID/コンテナIDの数が多いほど、マスタフィルタによる選定の精度が高くなる。したがって、マスタデータ21として保持されているトレイラID/コンテナIDの数によっては、最頻値選定および残データ選定等の各処理の実行をせずとも、マスタフィルタによる選定でトレイラID/コンテナIDを選定でき得る。しかし、似た文字列(言い換えると、同じ類似度が算出され得る文字列)が認識される可能性を考慮すると、最頻値選定が実行されることが好ましい。
【0102】
また、上述した実施の形態において、出力されるトレイラID/コンテナIDの選定結果は、最頻値選定、マスタフィルタによる選定、残データ選定のいずれかの処理による選定結果であった。しかし、除外フィルタまたは優先フィルタによる選定の結果、トレイラID/コンテナIDの候補の数が1つに絞られた場合は、その候補をトレイラID/コンテナIDとして選定して出力してもよい。ただし、最頻値選定を経ていないトレイラID/コンテナIDは、誤認識されたトレイラID/コンテナIDである可能性も高いため、最頻値選定を経る方が、選定されるトレイラID/コンテナIDの精度は高まる。
【0103】
また、上述した実施の形態では、トレイラまたはコンテナを識別するトレイラID/コンテナIDを認識して通知する例を説明した。しかし、上述した実施の形態の思想は、ヤードに出入りする移動体の他のIDを認識または通知する際にも適用できる。例えば、トラクタを識別するIDの認識等や、トラックや乗用車などの他の車両のIDを認識等にも適用することができる。また、ユーザの要望に応じて、ヤードに出入りするどの種類の移動体のIDを認識するかを設定可能にしてもよい。
【0104】
(本開示のまとめ)
以上の実施の形態の記載により、下記技術が開示される。
【0105】
<技術1>
本実施の形態に係る文字認識装置(例えば、文字認識装置40)は、撮像デバイス(例えば、撮像デバイス10)によって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部(例えば、文字列認識部41B)と、認識部によって認識された文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDまたはコンテナIDの候補として選定し、トレイラIDまたはコンテナIDの候補のうち、予め保持されたトレイラIDまたはコンテナIDのマスタデータ(例えば、マスタデータ21)との類似度が所定の閾値以上であるものをトレイラIDまたはコンテナIDとして選定する選定部(例えば、文字列選定部41C)と、を備える。
【0106】
これにより、本実施の形態に係る文字認識装置は、トレイラに記載されている複数の文字列の中から、規定の表記フォーマットに基づいてトレイラIDまたはコンテナIDと考えられる文字列を検出することができる。また、文字認識装置は、表記フォーマットに基づいた検出が困難な場合でも、既知のトレイラIDまたはコンテナIDに基づいて、トレイラIDまたはコンテナIDと考えられる文字列を検出することができる。つまり、文字認識装置は、トレイラに記載された複数の文字列の中から高精度にトレイラIDまたはコンテナIDを検出することができる。
【0107】
<技術2>
技術1に記載の文字認識装置において、表記フォーマットは、文字列における英文字の部分と数字の部分とを規定してよい。
【0108】
これにより、本実施の形態に係る文字認識装置は、トレイラIDまたはコンテナIDの文字列が英文字と数字とから構成される場合、文字列の英文字の部分と数字の部分とを規定する表記フォーマットに基づいて、トレイラID/コンテナIDを検出することができる。
【0109】
<技術3>
技術1または2に記載の文字認識装置において、認識部は、認識した文字列のうち、表記フォーマットにて英文字の部分と規定されている箇所が規定の数字である場合、規定の英文字に変換し、認識した文字列のうち、表記フォーマットにて数字の部分と規定されている箇所が規定の英文字である場合、規定の数字に変換してよい。
【0110】
これにより、本実施の形態に係る文字認識装置は、認識された文字列の中に誤認識されやすい文字が含まれている場合、表記フォーマットに基づいて、当該文字を変換することができる。これにより、文字列の中の必要な箇所だけ変換し、文字列の誤認識を防ぐことができる。
【0111】
<技術4>
技術3に記載の文字認識装置において、選定部は、変換後の文字列と変換前の文字列とを、選定部による選定の対象としてよい。
【0112】
これにより、本実施の形態に係る文字認識装置は、規定の表記フォーマットに則する変換後の文字列をトレイラIDまたはコンテナIDの選定の対象とすることができるだけでなく、変換前の文字列もトレイラIDまたはコンテナIDの選定の対象とすることができる。例えば、規定の表記フォーマットに当てはまらない文字列がトレイラIDまたはコンテナIDとしてトレイラに記載されている場合でも、文字認識装置は、当該文字列をトレイラIDまたはコンテナIDとして選定できる。
【0113】
<技術5>
技術1から4のいずれか1つに記載の文字認識装置において、選定部は、トレイラIDまたはコンテナIDの候補が認識部により1つまたは複数の撮像画像から認識された回数に基づいて、トレイラIDまたはコンテナIDの候補からトレイラIDまたはコンテナIDを選定してよい。
【0114】
これにより、本実施の形態に係る文字認識装置は、トレイラIDまたはコンテナIDの候補が複数ある場合に、撮像画像により多く現れ、より多く認識された文字列をトレイラIDまたはコンテナIDと選定することができる。
【0115】
<技術6>
技術1から5のいずれか1つに記載の文字認識装置において、選定部は、認識部によって認識された文字列のうち、すべて英文字の文字列を、トレイラIDまたはコンテナIDの候補から除外してよい。
【0116】
これにより、本実施の形態に係る文字認識装置は、トレイラIDまたはコンテナIDのどちらでもないと考えられる、すべて英文字の文字列を、トレイラIDまたはコンテナIDの候補から除外することができる。
【0117】
<技術7>
技術1から6のいずれか1つに記載の文字認識装置において、選定部は、認識部によって認識された文字列のうち、所定の文字数に満たない文字列を、トレイラIDまたはコンテナIDの候補から除外してよい。
【0118】
これにより、本実施の形態に係る文字認識装置は、トレイラIDまたはコンテナIDのどちらでもないと考えられる、所定の文字数に満たない文字列を、トレイラIDまたはコンテナIDの候補から除外することができる。
【0119】
<技術8>
技術1から7のいずれか1つに記載の文字認識装置において、選定部は、トレイラIDまたはコンテナIDの候補と、マスタデータとのレーベンシュタイン距離に基づいて、類似度を算出してよい。
【0120】
これにより、本実施の形態に係る文字認識装置は、トレイラIDまたはコンテナIDの候補と、マスタデータとして保持されるトレイラIDまたはコンテナIDとのレーベンシュタイン距離に基づいて、類似度を算出することができる。
【0121】
<技術9>
技術1から8のいずれか1つに記載の文字認識装置において、選定部は、トレイラIDまたはコンテナIDの候補のうち、最も文字数が多い文字列をトレイラIDまたはコンテナIDとして選定してよい。
【0122】
これにより、本実施の形態に係る文字認識装置は、例えばトレイラID/コンテナIDの候補を1つに絞り込めない場合に、文字数が多い文字列をトレイラID/コンテナIDであると選定することができる。
【0123】
以上、図面を参照しながら本実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した本実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0124】
本開示は、文字認識装置、文字認識方法および文字認識システムとして有用である。
【符号の説明】
【0125】
TR トレイラ
LE トラクタ
ST1,ST2,ST3,ST4,ST5,ST6,ST7,ST8,ST9,ST10,ST11,ST12 文字列
1 文字認識システム
10 撮像デバイス
20 データベース
21 マスタデータ
30 表示デバイス
40 文字認識装置
41 プロセッサ
41A 文字列検出部
41B 文字列認識部
41C 文字列選定部
42 通信I/F
43 メモリ
【要約】
【課題】複数の文字列の中からトレイラIDまたはコンテナIDと考えられる文字列を検出する。
【解決手段】文字認識装置は、撮像デバイスによって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部と、前記認識部によって認識された前記文字列のうち、規定の表記フォーマットに適合する文字列をトレイラIDまたはコンテナIDの候補として選定し、前記トレイラIDまたはコンテナIDの候補のうち、予め保持されたトレイラIDまたはコンテナIDのマスタデータとの類似度が所定の閾値以上であるものをトレイラIDまたはコンテナIDとして選定する選定部と、を備える。
【選択図】図3
図1
図2
図3
図4
図5
図6
図7