特許 7510221 コンテナ番号を認識するための端末、システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】コンテナ番号を認識するための端末、システム、方法及びプログラム

(51)【国際特許分類】

   G06V 30/166 20220101AFI20240626BHJP

【ＦＩ】

G06V30/166

【請求項の数】 7

(21)【出願番号】P 2023198559

(22)【出願日】2023-11-22

【審査請求日】2023-11-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】523442932

【氏名又は名称】あやたかシステム開発株式会社

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】金子 愼太郎

【審査官】▲柳▼谷 侑

(56)【参考文献】

【文献】特開２０１６－１１９０５９（ＪＰ，Ａ）

【文献】特開２０２１－１４９７３６（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４６５７７３１（ＣＮ，Ａ）

【文献】特表２０２２－５１４８５９（ＪＰ，Ａ）

【文献】特開平９－２９７８１３（ＪＰ，Ａ）

【文献】特開平４－３３６６８３（ＪＰ，Ａ）

【文献】特開２００４－１７１３３７（ＪＰ，Ａ）

【文献】特開平６－２５９５９８（ＪＰ，Ａ）

【文献】特開平１０－２４０４３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／１６６

(57)【特許請求の範囲】

【請求項1】

コンテナ番号を認識するための端末であって、
コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する取得部と、
取得した前記画像において前記コンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知する検知部と、
前記最上部の文字及び前記最下部の文字の座標から傾きを判定し、当該傾きを補正する傾き補正部と、
検知した前記各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正するサイズ補正部と、
前記サイズを補正した前記各文字を横並びに結合し、前記各文字を前記コンテナ番号として認識する認識部と、
を備える端末。

【請求項2】

認識した前記コンテナ番号を横書きで表示する表示部をさらに備える請求項１に記載の端末。

【請求項3】

前記コンテナ番号全体の領域と、当該領域における各文字とを学習して、学習済みモデルを作成する学習部をさらに備える請求項１に記載の端末。

【請求項4】

前記学習済みモデルに基づいて、取得した前記画像において、前記コンテナ番号全体の領域を推測し、当該領域において、最上部の文字から最下部の文字までの各文字を推測する推測部をさらに備える請求項３に記載の端末。

【請求項5】

コンテナ番号を認識するためのシステムであって、
コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する取得部と、
取得した前記画像において前記コンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知する検知部と、
前記最上部の文字及び前記最下部の文字の座標から傾きを判定し、当該傾きを補正する傾き補正部と、
検知した前記各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正するサイズ補正部と、
前記サイズを補正した前記各文字を横並びに結合し、前記各文字を前記コンテナ番号として認識する認識部と、
を備えるシステム。

【請求項6】

コンピュータシステムによって実行されるコンテナ番号を認識するための方法であって、
コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得するステップと、
取得した前記画像において前記コンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知するステップと、
前記最上部の文字及び前記最下部の文字の座標から傾きを判定し、当該傾きを補正するステップと、
検知した前記各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正するステップと、
前記サイズを補正した前記各文字を横並びに結合し、前記各文字を前記コンテナ番号として認識するステップと、
を備える方法。

【請求項7】

コンピュータに、
コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得するステップ、
取得した前記画像において前記コンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知するステップ、
前記最上部の文字及び前記最下部の文字の座標から傾きを判定し、当該傾きを補正するステップ、
検知した前記各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正するステップ、
前記サイズを補正した前記各文字を横並びに結合し、前記各文字をコンテナ番号として認識するステップ、
を実行させるコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテナ番号を認識するための端末、システム、方法及びプログラムに関する。

【背景技術】

【0002】

国際的に流通している海上コンテナには、コンテナ番号と呼ばれる管理用コードが一意的に付され、コンテナ側面に表示されている。コンテナ番号は、コンテナの所有者、シリアル番号、国籍コード、構造区分などを示し、国際的に標準化されている。このため、鉄道、トラック、船舶、航空機などの異なる輸送機関を組み合わせたインターモーダル輸送において、一度も製品をコンテナから出したり荷台やパレットに積み直したりすることなく運ぶことが可能となる。

【0003】

このようなインターモーダル輸送においては、関係者が多岐にわたり複雑なため、コンテナの所在管理を行うことが重要となる。そのため、工場、保税倉庫、バンプール、コンテナヤード、輸送機関、販社倉庫などのコンテナが載置される場所では、コンテナ側面に縦書き又は横書きで表示されたコンテナ番号を読み取ることにより、コンテナの位置やステータスを管理することが可能となる。

【0004】

このため、近年では、コンテナ番号が横書きで表示されたコンテナについては、コンテナ番号が写った画像を取得し、取得した画像を認識して、コンテナ番号を特定する技術が利用されている（特許文献１）。

【0005】

また、従来から、縦書きで表示された文字列が写った画像から、文字列を認識して読み取る技術はある(非特許文献１)。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０２２／１８０７０１号パンフレット

【非特許文献】

【0007】

【文献】ＣＮＥＴＪａｐａｎ，“縦書きも認識、日本語テキストの抽出に適したウェブサービス３選”，［ｏｎｌｉｎｅ］，平成２９年８月２９日，朝日インタラクティブ株式会社，［令和５年１０月２日検索］，インターネット ＜ＵＲＬ：ｈｔｔｐｓ：／／ｊａｐａｎ．ｃｎｅｔ．ｃｏｍ／ａｒｔｉｃｌｅ／３５０８８０１８／＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、特許文献１の技術では、コンテナ番号が縦書きで表示されているものは文字認識できないため、作業者が手打ち入力をする必要がある。

【0009】

また、非特許文献１の技術では、縦書の文字列が斜め方向まっすぐである場合、縦書きの文字列を認識することができない。

【0010】

そこで、本発明者らは、文字認識をする際に、文字それぞれを検知する処理を、縦方向の文字数分繰り返すことによって、全ての縦書きの文字を検知すれば、文字が一定方向にまっすぐ揃っていなくても、認識することが可能となることに着目した。

【0011】

本発明は、これらの課題に鑑み、コンテナ番号が縦書きである場合に読み取ることが可能なコンテナ番号を認識するための端末、システム、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明では、以下のような解決手段を提供する。

【0013】

本発明の第１の特徴によれば、コンテナ番号を認識するための端末であって、
コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する取得部と、
取得した前記画像において、前記コンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知する検知部と、
前記最上部の文字及び前記最下部の文字の座標から傾きを判定し、当該傾きを補正する傾き補正部と、
検知した前記各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正するサイズ補正部と、
前記サイズを補正した前記各文字を横並びに結合し、前記各文字を前記コンテナ番号として認識する認識部と、
を備える端末を提供する。

【0014】

本発明の第１の特徴によれば、コンテナに縦書きでコンテナ番号が表示されていても、コンテナ番号を読み取ることができることから、作業者はコンテナ番号を紙に手書きしたり、端末に入力したりする必要がなくなるため、コンテナに横書きでコンテナ番号が表示されている場合同様、コンテナの所在管理が容易となる。

【0015】

本発明の第２の特徴は、第１の特徴に係る発明であって、
認識した前記コンテナ番号を横書きで表示する表示部をさらに備える端末を提供する。

【0016】

本発明の第２の特徴によれば、コンテナに縦書きでコンテナ番号が表示されていても、端末上では、コンテナ番号が横書きで表示されることから、管理するコンテナすべてのコンテナ番号を横書きに統一して管理することが可能となる。

【0017】

本発明の第３の特徴は、第１の特徴に係る発明であって、
前記コンテナ番号全体の領域と、当該領域における各文字とを学習して、学習済みモデルを作成する学習部をさらに備える端末を提供する。

【0018】

本発明の第３の特徴によれば、コンテナ番号全体の領域特有の特徴量と、当該領域において最上部の文字から最下部の文字までの各文字特有の特徴量とを学習して学習済みモデルを作成することにより、コンテナ番号全体の領域と、当該領域における各文字の自動検出精度を高めることが可能となる。

【0019】

本発明の第４の特徴は、第３の特徴に係る発明であって、
前記学習済みモデルに基づいて、取得した前記画像において、前記コンテナ番号全体の領域を推測し、当該領域において、最上部の文字から最下部の文字までの各文字を推測する推測部をさらに備える端末を提供する。

【0020】

本発明の第５の特徴によれば、定置したカメラ等によって遠目でコンテナ番号全体を含む画像を撮像した場合でも、学習データによって、撮像した画像から文字認識ができることから、さらに正確な文字認識が可能となる。

【0021】

本発明は、端末のカテゴリであるが、システム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【発明の効果】

【0022】

本発明によれば、コンテナ番号が縦書きである場合に読み取ることが可能なコンテナ番号を認識するための端末、システム、方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態であるコンテナ番号を認識するための端末１の概要を説明するための図である。

【図2】本実施形態のコンテナ番号を認識するための端末１の構成図である。

【図3】本実施形態のコンテナ番号を認識するための端末１が実行するコンテナ番号認識処理のフローチャートである。

【図4】本実施形態のコンテナ番号を認識するための端末１が実行する文字検知処理を説明するための図である。

【図5】本実施形態のコンテナ番号を認識するための端末１が実行する傾き補正処理を説明するための図である。

【図6】本実施形態のコンテナ番号を認識するための端末１が実行するサイズ補正処理のフローチャートである。

【図7】本実施形態のコンテナ番号を認識するための端末１が実行する文字認識処理のフローチャートである。

【図8】本実施形態のコンテナ番号を認識するための端末１が実行する学習処理を説明するための図である。

【図9】本発明の本実施形態の別の態様であるコンテナ番号を認識するためのシステム２の概要を説明するための図である。

【図10】本実施形態の別の態様のコンテナ番号を認識するためのシステム２の構成図である。

【図11】本実施形態の別の態様のコンテナ番号を認識するためのシステム２が実行するコンテナ番号認識処理のフローチャートである。

【発明を実施するための形態】

【0024】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0025】

［コンテナ番号を認識するための端末１の概要］
本発明の一実施形態であるコンテナ番号を認識するための端末１の概要について、図１に基づいて説明する。図１は、本発明の一実施形態であるコンテナ番号を認識するための端末１の概要を説明するための図である。

【0026】

コンテナ番号を認識するための端末１は、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画及び／又は静止画等の画像を撮影する撮像デバイスを備える。

【0027】

端末１は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0028】

次に、コンテナ番号を認識するための端末１が実行する処理の概要について説明する。
まず、端末１は、コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する（ステップＳ１）。具体的には、端末１は、ユーザーが端末１を用いて撮影したコンテナに表示されたコンテナ番号が写った画像を取得する。

【0029】

次に、端末１は、取得した画像において、コンテナ番号全体の領域１００を検知し、当該領域において最上部の文字から最下部の文字までの各文字１１０を検知する（ステップＳ２）。具体的には、端末１は、取得した画像に写った縦書きのコンテナ番号全体を含めた領域を検知し、検知した領域内に含まれる文字を最上部から最下部まで１字ずつ検知して画像から抽出する。文字の検知及び抽出方法については、特に限定しない。

【0030】

また、ステップＳ２において、端末１は、学習済みモデル２００に基づいて、取得した画像において、コンテナ番号全体の領域１００を推測し、当該領域１００において最上部の文字から最下部の文字までの各文字１１０を推測してもよい。具体的には、端末１は、予め機械学習して作成した学習済みモデル２００に基づいて、取得した画像に写っているコンテナ番号全体の領域１００を推測して抽出し、抽出した画像に含まれる各文字１１０を推測する。コンテナ番号全体の領域１００及び各文字１１０の推測方法と抽出方法については、特に限定しない。機械学習については後述する。

【0031】

ステップＳ２においては、端末１は、学習済みモデル２００と検知結果又は推測結果に基づいて、検知又は推測したコンテナ番号全体の領域１００特有の特徴量と、検知又は推測した各文字１１０特有の特徴量とを、機械学習によって再学習させて、学習済みモデル２００を更新してもよい。尚、この機械学習による再学習は、ステップＳ２以降であれば、いずれのタイミングで行なってもよいし、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0032】

次に、端末１は、最上部の文字及び最下部の文字の座標から傾きを判定し、当該傾きを補正する（ステップＳ３）。具体的には、端末１は、最上部の文字と最下部の文字からコンテナ番号の文字列の傾きを求め、文字列の中心を原点とした二次元座標において、文字列が垂直に縦並びとなるように文字列を補正する。

【0033】

次に、端末１は、検知した各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正する（ステップＳ４）。具体的には、端末１は、認識した各文字の高さの平均値を算出し、各文字の高さが平均値となるように各文字を拡大又は縮小する。

【0034】

次に、端末１は、サイズを補正した各文字を横並びに結合し、コンテナ番号を認識する（ステップＳ５）。具体的には、端末１は、サイズを補正した縦並びの文字列を転置することによって、文字列を横並びにし、各文字を文字データとして認識する。端末１は、認識した文字データを、自身の表示部１７に横書きで出力してもよい。尚、文字データの認識方法については、特に限定されない。

【0035】

以上が、コンテナ番号を認識するための端末１が実行する処理の概要である。

【0036】

［コンテナ番号を認識するための端末１のシステム構成］
図２に基づいて、本実施形態のコンテナ番号を認識するための端末１のシステム構成について説明する。

【0037】

端末１は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよい。

【0038】

端末１は、例えば、ハンディターミナル、スマートフォン、タブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等の端末であり、カメラ等のカラー動画及び／又は静止画等の画像を撮影する撮像デバイスを備える。

【0039】

端末１は、制御部及び処理部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、撮像部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0040】

撮像部は、動画及び／又は静止画等の画像を撮影するためのデバイスを備える。カラー画像が撮影できれば、特に限定されない。

【0041】

端末１は、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0042】

端末１は、入力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0043】

端末１は、出力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクター等の表示部１７への投影等の表示と、音声出力等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0044】

端末１は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0045】

制御部は、処理部と協働して取得部１０、検知部１１、傾き補正部１２，サイズ補正部１３、認識部１４、推測部１５、学習部１６を実現する。

【0046】

以上が、コンテナ番号を認識するための端末１のシステム構成である。

【0047】

［コンテナ番号認識処理］
図３に基づいて、コンテナ番号を認識するための端末１が実行するコンテナ番号認識処理について説明する。図３は、コンテナ番号を認識するための端末１が実行するコンテナ番号認識処理のフローチャートを示す図である。コンテナ番号認識処理は、図３に示すように、ステップＳ１１～Ｓ１５で構成され、上述のステップＳ１～Ｓ５に対応する。

【0048】

まず、端末１の取得部１０は、コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する（ステップＳ１１）。具体的には、取得部１０は、ユーザーが端末１の撮像部を用いて撮影したコンテナに表示されたコンテナ番号が写った画像を取得する。画像は、カラー画像であれば、動画でも静止画でもよい。

【0049】

次に、端末１の検知部１１は、取得した画像においてコンテナ番号全体の領域１００を検知し、当該領域において最上部の文字から最下部の文字までの各文字１１０を検知する（ステップＳ１２）。具体的には、図４に示すように、検知部１１は、ステップＳ１１で取得した画像に写った縦書きのコンテナ番号全体を含めた矩形領域１００を検知し、検知した領域内に含まれる文字を最上部から最下部まで１字ずつ検知し、各文字１１０が全体に及ぶように矩形状に囲んで抽出、つまり各文字１１０を含む矩形状の画像を抽出する。文字の検知及び抽出方法については、特に限定しない。本実施形態では、領域１００を矩形で検知しているが、他の形状で検知してもよい。また、各文字１１０を矩形状で囲んでいるが、他のいかなる形状で囲んでもよい。

【0050】

また、ステップＳ１２において、端末１の推測部１５は、端末１の記憶部に記憶される学習済みモデル２００に基づいて、取得した画像において、コンテナ番号全体の矩形領域１００を推測し、当該矩形領域１００において最上部の文字から最下部の文字までの各文字１１０を推測してもよい。具体的には、端末１の推測部１５は、予め機械学習して作成した学習済みモデル２００に基づいて、取得した画像に写っているコンテナ番号全体の矩形状に囲んだ領域１００を推測して抽出し、抽出した画像に含まれる各文字１１０を含む区名城の画像を推測する。機械学習の種類や方法については、特に問わない。コンテナ番号全体の領域１００及び各文字１１０の推測方法と抽出方法については、特に限定しない。機械学習については後述する。

【0051】

ステップＳ１２においては、端末１の学習部１６は、学習済みモデル２００と検知結果又は推測結果に基づいて、検知又は推測したコンテナ番号全体の領域１００特有の特徴量と、検知又は推測した各文字１１０特有の特徴量とを、機械学習によって再学習させて、学習済みモデル２００を更新してもよい。尚、この機械学習による再学習は、ステップＳ１２以降であれば、いずれのタイミングで行なってもよいし、端末１がユーザーからの入力を受け付けることによって行ってもよい。機械学習については後述する。

【0052】

次に、端末１の傾き補正部１２は、最上部の文字及び最下部の文字の座標から傾きを判定し、当該傾きを補正する（ステップＳ１３）。具体的には、図５に示すように、傾き補正部１２は、ステップＳ１２で抽出した最上部文字を含む矩形画像の中心Ｃ１と、最下部文字を含む矩形画像の中心Ｃ２と、文字列の中心Ｃ０とを特定し、文字列の中心Ｃ０を原点（０，０）とした二次元座標ＸＹにおいて、最上部文字のＣ１の座標（Ｘ１，Ｙ１）と、最下部文字のＣ２の座標（Ｘ２，Ｙ２）を求める。そして、最上部文字のＣ１と最下部文字のＣ２を直線で結んで、直線の傾きｍを求めることにより、文字列の中心Ｃ０、すなわち原点（０，０）を通る垂線を求める。これにより、最上部文字列のＣ１の座標が（０，Ｙ１’）、最下部文字の中心Ｃ２の座標が（０，Ｙ２’）となり、その結果、傾いた縦書きの文字列が、まっすぐ縦書きの文字列に補正される。

【0053】

次に、端末１のサイズ補正部１３は、検知した各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正する（ステップＳ１４）。具体的には、図６に示すように、サイズ補正部１３は、ステップＳ１３で補正した縦書きの文字列において、各文字を囲んだ矩形の高さを画素数で測定し、測定した各文字の矩形高さの平均値を算出する。そして、各文字の高さが平均値となるように各文字の矩形画像を拡大又は縮小する。

【0054】

次に、端末１の認識部１４は、サイズを補正した各文字を横並びに結合し、コンテナ番号を認識する（ステップＳ１５）。具体的には、図７に示すように、認識部１４は、ステップＳ１４でサイズを補正した縦並びの文字列を、行から列に転置することによって、文字列を横並びにした後、各文字を文字データとして認識する。端末１の出力部は、認識した文字データを、表示部１７に横書きで出力してもよい。尚、文字データの認識方法については、特に限定されない。

【0055】

以上が、コンテナ番号認識処理である。

【0056】

［学習処理］
図８に基づいて、コンテナ番号を認識するための端末１が実行する学習処理について説明する。図８は、コンテナ番号を認識するための端末１が実行する学習処理のフローチャートを示す図である。

【0057】

端末１の取得部１０は、学習用画像を取得する（ステップＳ３１）。具体的には、取得部１０は、撮影したコンテナに表示されたコンテナ番号が写った画像を取得する。画像は、カラー画像であれば、動画でも静止画でもよい。尚、学習用画像は、別の端末、コンピュータ又は装置からデータ通信等を介して取得してもよい。

【0058】

端末１の学習部１６は、取得した学習用画像を解析する（ステップＳ３２）。具体的には、学習部１６は、取得した画像に写った縦書きのコンテナ番号全体を含めた矩形領域１００を検知して画像解析し、当該矩形領域１００に特有の特徴量を抽出する。さらに、検知した矩形領域１００内に含まれる文字を最上部から最下部まで１字ずつ検知して画像解析し、各文字１１０に特有の特徴量を抽出する。なお、学習部１６は、端末１の入力部がユーザーからの入力を受け付けることによって、取得した学習用画像の解析を実行してもよい。

【0059】

端末１の学習部１６は、解析結果に基づいて、機械学習を実行する（ステップＳ３３）。具体的には、学習部１６は、機械学習として、ステップＳ３２で抽出した特徴量を教師とした教師あり学習を実行する。ステップＳ３２で抽出した特徴量は、多層構造のニューラルネットワークによって自動的に定義して学習する深層学習（ディープラ-ニング）で学習してもよい。

【0060】

端末１の学習部１６は、学習結果に基づいて、コンテナ番号認識用学習済みモデル２００を作成する（ステップＳ３４）。具体的には、学習部１６は、学習した矩形領域１００特有の特徴量と各文字１１０特有の特徴量を組み込んだコンテナ番号認識用の学習済みモデル２００を作成する。

【0061】

端末１の学習部１６は、作成した学習済みモデル２００を、自身の記憶部に記憶する（ステップＳ３５）。

【0062】

以上が、学習処理である。

【0063】

コンテナ番号を認識するための端末１によれば、コンテナに縦書きでコンテナ番号が表示されていても、コンテナ番号を読み取ることができることから、作業者はコンテナ番号を紙に手書きしたり、端末に入力したりする必要がなくなるため、コンテナに横書きでコンテナ番号が表示されている場合同様、コンテナの所在管理が容易となる。

【0064】

また、コンテナ番号を認識するための端末１によれば、コンテナに縦書きでコンテナ番号が表示されていても、端末上では、コンテナ番号が横書きで表示されることから、管理するコンテナすべてのコンテナ番号を横書きに統一して管理することが可能となる。

【0065】

また、コンテナ番号を認識するための端末１によれば、コンテナ番号全体の領域１００と、当該領域１００において最上部の文字から最下部の文字までの各文字１１０とを学習して学習済みモデル２００を作成することにより、コンテナ番号全体の領域１００と、当該領域における各文字１１０の自動検出精度を高めることが可能となる。

【0066】

さらに、コンテナ番号を認識するための端末１によれば、定置したカメラ等によって遠目でコンテナ番号全体を含む画像を撮像した場合でも、学習データによって、撮像した画像から文字認識ができることから、さらに正確な文字認識が可能となる。

【0067】

［本実施形態の別の態様］
［コンテナ番号を認識するためのシステム２の概要］
本発明の本実施形態の別の態様であるコンテナ番号を認識するためのシステム２の概要について、図９に基づいて説明する。図９は、本発明の本実施形態の別の態様であるコンテナ番号を認識するためのシステム２の概要を説明するための図である。なお、上述の一態様と同一の機能及び構成については同一の符号を付し、説明を省略する。本態様が上述の一態様と異なるのは、コンピュータ３と撮像装置４で構成されたコンテナ番号を認識するためのシステム２である点である。

【0068】

コンテナ番号を認識するためのシステム２は、上述したように、コンピュータ３と撮像装置４で構成される。

【0069】

コンピュータ３は、例えば、デスクトップパソコンやノートパソコンやサーバ等のコンピュータ、スマートフォンやタブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等である。

【0070】

コンピュータ３は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0071】

撮像装置４は、例えば、動画及び／又は静止画等の画像を撮影するカメラであり、カラー画像が撮影できれば、特に限定されない。

【0072】

コンピュータ３と撮像装置４とは、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。

【0073】

次に、コンテナ番号を認識するためのシステム２が実行する処理の概要について説明する。
まず、コンピュータ３は、コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する（ステップＳ６）。具体的には、コンピュータ３は、ユーザーが撮像装置４を用いて撮影したコンテナに表示されたコンテナ番号が写った画像を撮像装置４から取得する。

【0074】

次に、コンピュータ３は、取得した画像においてコンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知する（ステップＳ７）。本ステップは、上述の一態様のステップＳ２と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0075】

次に、コンピュータ３は、最上部の文字及び最下部の文字の座標から傾きを判定し、当該傾きを補正する（ステップＳ８）。本ステップは、上述の一態様のステップＳ３と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0076】

次に、コンピュータ３は、検知した各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正する（ステップＳ９）。本ステップは、上述の一態様のステップＳ４と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0077】

次に、コンピュータ３は、サイズを補正した各文字を横並びに結合し、コンテナ番号を認識する（ステップＳ１０）。本ステップは、上述の一態様のステップＳ５と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0078】

以上が、コンテナ番号を認識するためのシステム２が実行する処理の概要である。

【0079】

［コンテナ番号を認識するためのシステム２のシステム構成］
図１０に基づいて、上述の一態様のコンテナ番号を認識するためのシステム２のシステム構成について説明する。

【0080】

コンピュータ３は、例えば、デスクトップパソコンやノートパソコンやサーバ等のコンピュータ、スマートフォンやタブレット端末等の携帯端末、スマートグラス等のヘッドマウントディスプレイやスマートウォッチといったウェアラブル端末等である。

【0081】

コンピュータ３は、例えば、１台の端末装置で実現されてもよいし、複数の端末装置で実現されてもよく、クラウドコンピュータのように仮想的な装置で実現されてもよい。

【0082】

コンピュータ３は、制御部及び処理部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0083】

コンピュータ３は、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0084】

撮像装置４は、例えば、動画及び／又は静止画等の画像を撮影するカメラであり、カラー画像が撮影できれば、特に限定されない。

【0085】

コンピュータ３は、入力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0086】

コンピュータ３は、出力部として、ユーザーが端末１を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクター等の表示部１７への投影等の表示と、音声出力等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0087】

コンピュータ３は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0088】

制御部は、処理部と協働して取得部１０、検知部１１、傾き補正部１２，サイズ補正部１３、認識部１４、推測部１５、学習部１６を実現する。

【0089】

撮像装置４は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えており、制御部は、後述の処理部、撮像部、通信部、入力部、出力部、記憶部に実行命令を出し、処理部は、データの計算を行い、計算結果の判定などを行う。

【0090】

撮像装置４は、例えば、動画及び／又は静止画等の画像を撮影するために必要な機能を備えるものとし、カラー画像が撮影できれば、特に限定されない。

【0091】

撮像装置４は、通信部として、他の端末や装置等と通信可能にするためのデバイスを備える。通信方式は、無線であっても有線であってもよい。

【0092】

撮像装置４は、入力部として、ユーザーが撮像装置４を操作するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ等を備えることが可能である。入力方法により、本発明は特に機能が限定されるものではない。

【0093】

撮像装置４は、出力部として、ユーザーが撮像装置４を操作するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ等の形態が考えられる。出力方法により、本発明は特に機能が限定されるものではない。

【0094】

撮像装置４は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージを備える。データの保存先は、クラウドサービスやデータベース等であってもよい。

【0095】

コンピュータ３と撮像装置４とは、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。

【0096】

以上が、コンテナ番号を認識するためのシステム２のシステム構成である。

【0097】

［コンテナ番号認識処理］
コンテナ番号を認識するためのシステム２が実行するコンテナ番号認識処理について説明する。図１１は、コンテナ番号を認識するためのシステム２が実行するコンテナ番号認識処理のフローチャートを示す図である。コンテナ番号認識処理は、図１１に示すように、ステップＳ２１～Ｓ２５で構成され、上述のステップＳ６～Ｓ１０に対応する。

【0098】

まず、コンピュータ３の取得部１０は、コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する（ステップＳ２１）。具体的には、取得部１０は、ユーザーが撮像装置４を用いて撮影したコンテナに表示されたコンテナ番号が写った画像を撮像装置４から取得する。上述の一態様とは、コンピュータ３が、ユーザーが撮像装置４を用いて撮影したコンテナに表示されたコンテナ番号が写った画像を取得する点が異なる取得部１０は、撮像装置４が撮影した画像を、コンピュータ３の通信部により通信網を介して取得してもよいし、外部メディアにより記憶部に格納されることにより取得してもよい。

【0099】

次に、コンピュータ３の検知部１１は、取得した画像においてコンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知する（ステップＳ２２）。本ステップは、上述の一態様のステップＳ１２と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0100】

次に、コンピュータ３の傾き補正部１２は、最上部の文字及び最下部の文字の座標から傾きを判定し、当該傾きを補正する（ステップＳ２３）。本ステップは、上述の一態様のステップＳ１３と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0101】

次に、コンピュータ３のサイズ補正部１３は、検知した各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズを補正する（ステップＳ２４）。本ステップは、上述の一態様のステップＳ１４と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0102】

次に、コンピュータ３の認識部１４は、サイズを補正した各文字を横並びに結合し、コンテナ番号を認識する（ステップＳ２５）。本ステップは、上述の一態様のステップＳ１５と同様の処理であるが、コンピュータ３が端末１の代わりに処理を実施する点で異なる。

【0103】

以上が、コンテナ番号認識処理である。

【0104】

［学習処理］
コンテナ番号を認識するためのシステム２が実行する学習処理については、上述の一態様とは、コンピュータ３が、ユーザーが撮像装置４を用いて撮影したタイヤのシリアル番号の全体像が写った画像を取得する点が異なるのみであるため、説明を省略する。

【0105】

コンテナ番号を認識するためのシステム２によれば、上述の一態様同様、コンテナに縦書きでコンテナ番号が表示されていても、コンテナ番号を読み取ることができることから、作業者はコンテナ番号を紙に手書きしたり、端末に入力したりする必要がなくなるため、コンテナに横書きでコンテナ番号が表示されている場合同様、コンテナの所在管理が容易となる。

【0106】

また、コンテナ番号を認識するためのシステム２によれば、上述の一態様同様、コンテナに縦書きでコンテナ番号が表示されていても、端末上では、コンテナ番号が横書きで表示されることから、管理するコンテナすべてのコンテナ番号を横書きに統一して管理することが可能となる。

【0107】

また、コンテナ番号を認識するためのシステム２によれば、上述の一態様同様、コンテナ番号全体の領域１００と、当該領域１００において最上部の文字から最下部の文字までの各文字１１０とを学習して学習済みモデル２００を作成することにより、コンテナ番号全体の領域１００と、当該領域における各文字１１０の自動検出精度を高めることが可能となる。

【0108】

また、コンテナ番号を認識するためのシステム２によれば、上述の一態様同様、定置したカメラ等によって遠目でコンテナ番号全体を含む画像を撮像した場合でも、学習データによって、撮像した画像から文字認識ができることから、さらに正確な文字認識が可能となる。

【0109】

さらに、コンテナ番号を認識するための端末１の代わりに、上述の一態様同様とは異なり、コンテナ番号を認識するためのシステムとして、デスクトップパソコン、ノートパソコン、サーバ等のコンピュータ３と、カラー動画及び／又は静止画等の画像を撮影するカメラ等の撮像装置４とで実現できることから、一定の場所に撮像装置４を設置することによって、その場所にコンテナが載置又は通過するなどした際に、遠隔操作により、コンテナ番号を含む領域１００を撮影した画像を、コンピュータ３が取得してコンテナ番号を認識することができ、ユーザーが一定場所に出向く手間と時間を省くことが可能となる。

【0110】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、単数又は複数の端末からネットワーク経由で提供される（クラウドサービス、ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、コンピュータが読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介して端末に提供するようにしてもよい。

【0111】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0112】

１ 端末、２ システム、３ コンピュータ、４ 撮像装置、１０ 取得部、１１ 検知部、１２ 傾き補正部、１３ サイズ補正部、１４ 認識部、１５ 推測部、１６ 学習部、１７ 表示部、１００ 領域、１１０ 各文字、２００ 学習済みモデル

【要約】      （修正有）

【課題】コンテナ番号が縦書きである場合に読み取って認識する端末、システム、方法及びプログラムを提供する。
【解決手段】コンテナ番号を認識するための端末１は、コンテナに表示された縦書きのコンテナ番号全体を含む画像を取得する取得部と、取得した前記画像において前記コンテナ番号全体の領域を検知し、当該領域において最上部の文字から最下部の文字までの各文字を検知する検知部と、前記最上部の文字及び前記最下部の文字の座標から傾きを判定し、当該傾きを補正する傾き補正部と、検知した前記各文字のサイズの平均値を算出し、当該平均値に前記各文字のサイズに補正するサイズ補正部と、前記サイズを補正した前記各文字を横並びに結合し、前記各文字を前記コンテナ番号として認識する認識部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】