IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特許7426616進行方向推定装置および進行方向推定方法
<>
  • 特許-進行方向推定装置および進行方向推定方法 図1
  • 特許-進行方向推定装置および進行方向推定方法 図2
  • 特許-進行方向推定装置および進行方向推定方法 図3
  • 特許-進行方向推定装置および進行方向推定方法 図4
  • 特許-進行方向推定装置および進行方向推定方法 図5
  • 特許-進行方向推定装置および進行方向推定方法 図6
  • 特許-進行方向推定装置および進行方向推定方法 図7
  • 特許-進行方向推定装置および進行方向推定方法 図8
  • 特許-進行方向推定装置および進行方向推定方法 図9
  • 特許-進行方向推定装置および進行方向推定方法 図10
  • 特許-進行方向推定装置および進行方向推定方法 図11
  • 特許-進行方向推定装置および進行方向推定方法 図12
  • 特許-進行方向推定装置および進行方向推定方法 図13
  • 特許-進行方向推定装置および進行方向推定方法 図14
  • 特許-進行方向推定装置および進行方向推定方法 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-01-25
(45)【発行日】2024-02-02
(54)【発明の名称】進行方向推定装置および進行方向推定方法
(51)【国際特許分類】
   G08G 1/056 20060101AFI20240126BHJP
   G08G 1/04 20060101ALI20240126BHJP
   G06T 7/70 20170101ALI20240126BHJP
【FI】
G08G1/056
G08G1/04 C
G06T7/70 B
【請求項の数】 15
(21)【出願番号】P 2023011089
(22)【出願日】2023-01-27
【審査請求日】2023-07-18
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】齋藤 優麻
【審査官】貞光 大樹
(56)【参考文献】
【文献】特開2017-45137(JP,A)
【文献】特開2019-12496(JP,A)
【文献】特開2020-42363(JP,A)
【文献】特開平9-297813(JP,A)
【文献】特開平10-105647(JP,A)
【文献】特開平7-56882(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 1/16
G06T 7/00 - 7/90
G06V 10/00 - 20/90
(57)【特許請求の範囲】
【請求項1】
撮像デバイスによって撮像された撮像画像からコンテナを含むトレイラを牽引するトラクタを検出するトラクタ検出部と、
前記撮像画像内における前記トラクタと前記トレイラに記載される文字列との位置関係に基づき前記トラクタと前記トレイラを含む車両の進行方向を推定する進行方向推定部と、を備える、
進行方向推定装置。
【請求項2】
前記トレイラに記載される文字列は、前記トレイラを識別するトレイラIDであり、
前記進行方向推定装置は、更に、
前記撮像画像から前記トレイラIDを推定するトレイラID推定部を備える
請求項1に記載の進行方向推定装置。
【請求項3】
前記トレイラID推定部は、前記撮像画像からトレイラIDと推定されるトレイラID候補を複数選択し、
選択された前記トレイラID候補の中から前記車両の進行方向を推定する処理に用いるトレイラID候補を選別する文字列選別部を、さらに備える、
請求項2に記載の進行方向推定装置。
【請求項4】
前記文字列選別部は前記トレイラID候補と前記トラクタの位置との距離が閾値以上であるトレイラID候補の中から前記車両の進行方向を推定する処理に用いるトレイラID候補を選別する、
請求項3に記載の進行方向推定装置。
【請求項5】
前記文字列選別部は、前記距離が前記閾値以上であるトレイラID候補のうち、前記距離が最も遠いトレイラID候補を前記車両の進行方向を推定する処理に用いるトレイラID候補として選別する、
請求項4に記載の進行方向推定装置。
【請求項6】
前記文字列選別部は、前記距離が前記閾値以上であるトレイラID候補のうち、前記距離が最も近いトレイラID候補を前記車両の進行方向を推定する処理に用いるトレイラID候補として選別する、
請求項4に記載の進行方向推定装置。
【請求項7】
前記文字列選別部は、前記トレイラID推定部によってトレイラIDである可能性が所定の閾値よりも高いと推定されるトレイラID候補を前記車両の進行方向を推定する処理に用いるトレイラID候補として選別する、
請求項4に記載の進行方向推定装置。
【請求項8】
前記文字列選別部は、前記トレイラID推定部によって最もトレイラIDである可能性が高いと推定されるトレイラID候補を前記車両の進行方向を推定する処理に用いるトレイラID候補として選別する、
請求項4に記載の進行方向推定装置。
【請求項9】
前記文字列選別部が前記トレイラID候補を選別する条件は、ユーザによって設定可能である、
請求項4に記載の進行方向推定装置。
【請求項10】
前記トラクタ検出部は、検出した前記トラクタが内部に収まる枠を前記撮像画像に設定し、前記枠の中心位置を算出し、
前記トラクタの位置は、前記枠の中心位置である、
請求項4に記載の進行方向推定装置。
【請求項11】
データベースと、
前記車両の進行方向によって前記データベースを更新するデータベース更新部と、をさらに備え、
前記データベース更新部は、前記進行方向推定部が前記車両は所定位置から離れる方向に進行していると判定する場合、前記データベースから前記車両の情報を削除し、前記進行方向推定部が前記車両は前記所定位置に近づく方向に進行していると判定する場合、前記データベースに前記車両の情報を追加する、
請求項2に記載の進行方向推定装置。
【請求項12】
前記情報は、前記トレイラIDの情報を含む、
請求項11に記載の進行方向推定装置。
【請求項13】
前記データベース更新部は、前記情報として、前記トレイラIDとナンバープレートの番号、前記進行方向推定部が前記車両の進行方向を推定するのに用いた撮像画像または時刻との少なくとも1つを紐づけて更新する、
請求項12に記載の進行方向推定装置。
【請求項14】
前記データベース更新部は、前記データベースを更新する際、端末装置に通知を送信する、
請求項11に記載の進行方向推定装置。
【請求項15】
進行方向推定装置が、撮像デバイスによって撮像された撮像画像からコンテナを含むトレイラを牽引するトラクタを検出し、
前記進行方向推定装置が、前記撮像画像における前記トラクタと前記トレイラに記載される文字列との位置関係に基づき前記トラクタと前記トレイラを含む車両の進行方向を推定する、
進行方向推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、進行方向推定装置および進行方向推定方法に関する。
【背景技術】
【0002】
特許文献1には、自車両に搭載された走行軌跡予測装置が開示されている。走行軌跡予測装置は、ステレオカメラにより撮像された視差画像を解析して、先行車両の車体面の向きを検出する。走行軌跡予測装置は、先行車両の車体面の向きの変化から先行車両のヨーレートを算出し、先行車両の位置の変化から先行車両の速度を算出して、これら先行車両のヨーレート、および速度を用いて先行車両の将来の走行軌跡を予測する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-97644号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、トレイラを用いた物流が盛んになってきており、各トレイラの所在を効率的に管理したいというニーズが高まってきている。ここで、トレイラとは牽引車両(トラクタとも呼ぶ)によって牽引される被牽引車両を意味する。複数のトレイラは、倉庫または各地(例えば、出発地点、目的地点または中継地点等)に存在するターミナル等に集合することがある(以下、トレイラが集合する地点のことをトレイラステーションと称する)。一般的にトレイラには、トレイラの識別に係るID(identification)が記載されているため、このIDを用いてトレイラステーション内のトレイラを管理できると考えられる。トレイラステーション内のトレイラを管理するために、トレイラステーションにこれから入るトレイラと出るトレイラとを判別したい(つまり、トレイラステーションの位置に対する車両の向きを判別したい)というニーズがある。
【0005】
特許文献1では、先行車両の車体面の向きの変化から先行車両のヨーレートを算出するため、撮像時刻の異なる複数の画像を用いる必要があり複雑な処理となるという課題がある。
【0006】
本開示は、上述した従来の状況に鑑みて案出され、撮像画像から容易に車両の進行方向を推定することを目的とする。
【課題を解決するための手段】
【0007】
本開示は、撮像デバイスによって撮像された撮像画像からコンテナを含むトレイラを牽引するトラクタを検出するトラクタ検出部と、前記撮像画像内における前記トラクタと前記トレイラに記載される文字列との位置関係に基づき前記トラクタと前記トレイラを含む車両の進行方向を推定する進行方向推定部と、を備える、進行方向推定装置を提供する。
【0008】
また、本開示は、進行方向推定装置が、撮像デバイスによって撮像された撮像画像からコンテナを含むトレイラを牽引するトラクタを検出し、前記進行方向推定装置が、前記撮像画像における前記トラクタと前記トレイラに記載される文字列との位置関係に基づき前記トラクタと前記トレイラを含む車両の進行方向を推定する、進行方向推定方法を提供する。
【0009】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示によれば、撮像画像から容易に車両の進行方向を推定することができる。
【図面の簡単な説明】
【0011】
図1】トレイラに含まれる文字列を示す図
図2】実施の形態1に係る文字認識システムのブロック図
図3】文字認識装置が実行する処理のフロ―チャート
図4】トレイラIDと推定される属性とトレイラIDではないと推定される属性とを示す図
図5】文字列がトレイラIDと推定されるか否かの分類に係るフローチャート
図6】実施の形態2に係る進行方向推定システムのブロック図
図7】トレイラステーションに出入りする車両の撮像方法の第1の例を示す図
図8】トレイラステーションに出入りする車両の撮像方法の第2の例を示す図
図9】実施の形態2に係る撮像画像の検出結果の第1の例を示す図
図10】実施の形態2に係る撮像画像の検出結果の第2の例を示す図
図11】実施の形態2に係る車両を真上から撮像する際の車両の進行方向の第1の例を示す図
図12】実施の形態2に係る車両を真上から撮像する際の車両の進行方向の第2の例を示す図
図13】実施の形態2に係るトラクタと文字列との距離と閾値との関係を示す図
図14】トレイラIDを用いて車両の進行方向を推定する処理のフローチャート
図15】トレイラIDを用いて車両の進行方向を推定する処理のフローチャート
【発明を実施するための形態】
【0012】
以下、図面を適宜参照して、本開示に係る進行方向推定装置および進行方向推定方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
【0013】
<実施の形態1に至る経緯>
特開2008-217347号公報に係る特許文献2には、入力画像からナンバープレート領域候補の四辺形を複数検出して、ナンバープレート領域候補に含まれる文字領域の文字認識を実行するナンバープレート認識装置が開示されている。ナンバープレート認識装置は、各ナンバープレート領域候補の文字認識結果と四辺形の情報とに基づいて、検出された複数のナンバープレート領域候補の中から出力するナンバープレート領域候補を選択する。ナンバープレート認識装置は、当該選択されたナンバープレート領域候補に関する情報を出力する。
【0014】
近年、トレイラを用いた物流が盛んになってきており、各トレイラの所在を効率的に管理したいというニーズが高まってきている。ここで、トレイラとは牽引車両(トラクタとも呼ぶ)によって牽引される被牽引車両を意味する。一般的にトレイラには、トレイラの識別に係るID(identification)が記載されているため、車両等を撮影した撮像画像からこのIDを認識することで、トレイラを効率的に管理することができると考えられる。しかし、撮像画像には様々な文字も含まれていることがあり、認識に成功した文字列がトレイラの識別に係るIDであるとは限らない。そのため、撮像対象物であるトレイラ等が様々な大きさ、色、デザインの文字列を複数含む場合において、複数の文字列の中からトレイラの識別に係るIDを検出し撮像対象物を識別したいというニーズがある。以下、トレイラの識別に係るIDをトレイラIDと称する。
【0015】
特許文献2では、所定条件を満たす四辺形をナンバープレート領域候補となる四辺形と判断する。しかしながら、トレイラIDには、現状統一された規格は定められていないため、位置、大きさまたは文字数等は定まっていない。そのため、特許文献1と同様の技術を適用しても、撮像対象物の任意の位置に記載される多様な文字列の中から、トレイラIDを検出することは困難である。
【0016】
そこで、以下の実施の形態1では、複数の文字列の中からトレイラIDと考えられる文字列を検出する文字認識装置および文字認識方法の例を説明する。
【0017】
<実施の形態1>
図1を参照して、トレイラに含まれる文字列を説明する。図1は、トレイラに含まれる文字列を示す図である。
【0018】
トレイラTRは、トラクタLEによって牽引される車両Vの貨物部分である。トレイラTRには、トレイラIDの他に会社名、電話番号、トレイラの高さを示す数字、URL(Uniform Resource Locator)、単語またはテキスト等に係る文字列が記載されている。なお、トレイラTRに記載される文字列は、上述した例に限られない。
【0019】
文字列ST1,ST2,ST3,ST4は、会社名を示す文字列である。文字列ST1,ST2,ST3,ST4は、斜体の文字装飾が施されている文字列である。
【0020】
文字列ST5は、英単語で示される文字列であり会社名を示す文字列ST2の下に記載される。
【0021】
文字列ST6,ST7は、トラクタLEを識別する番号に係る文字列である。
【0022】
文字列ST8は、トレイラIDを示す文字列である。文字列ST8は、トレイラTRのコーナ(つまり、トレイラTRの筐体をなす面の境界部分であり、トレイラTRの側面に位置し重力方向に長い部分)に縦書きに記載されている。
【0023】
このように、トレイラTRには複数の文字列が記載されている。
【0024】
近年、物流の業界が盛んになるに伴い、多数のトレイラTRを効率的に管理する必要性が高まっている。例えば、複数のトレイラTRが集合する場所(例えば、トレイラステーション等)で、それぞれのトレイラTRを識別する必要がある。しかしながら、トレイラTRには複数の文字列(例えば、文字列ST1,ST2,ST5,ST8)が存在するため、複数の文字列の中からトレイラIDを検出するのは難しいという課題がある。
【0025】
次に、図2を参照して、実施の形態1に係る文字認識システムのブロック図を説明する。図2は、実施の形態1に係る文字認識システムのブロック図である。
【0026】
文字認識システム1は、撮像デバイス10、データベース20、表示デバイス30および文字認識装置40を少なくとも含む。
【0027】
撮像デバイス10は、トレイラを撮像するデバイスである。撮像デバイス10は、少なくとも光学素子としてのレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。レンズは、撮像デバイス10の撮像した領域の画角内からの対象物により反射された光を入射してイメージセンサの受光面(言い換えると、撮像面)に対象物の光学像を結像する。イメージセンサは、例えばCCD(Charged Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子である。イメージセンサは、所定時間(例えば1/30(秒))ごとに、レンズを介して撮像面に結像した光学像を電気信号に変換する。例えば、所定時間が1/30(秒)である場合、撮像デバイス10のフレームレートは30fpsとなる。また、撮像デバイス10は、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで画像データ(映像データ)を生成してもよい。撮像デバイス10は、画像データ(映像データ)を文字認識装置40に出力する。以下、画像データおよび映像データのことを撮像画像と称する。
【0028】
データベース20は、記憶媒体(例えばフラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive))を用いて構成される。データベース20は、文字列の属性がトレイラIDと推定されるものであるか否かを分類したテーブル(図4参照および以下分類テーブルと称する)が保存されている。また、データベース20は、文字認識装置40で実行される文字列がトレイラIDであるか否かに係る判定の結果が書き込まれる。なお、データベース20は、文字認識装置40に組み込まれてもよい。
【0029】
表示デバイス30は、文字認識装置40で実行される文字列がトレイラIDであるか否かに係る判定の結果が表示される。表示デバイス30は、例えば、タッチパネルディスプレイ、ディスプレイまたは携帯電話等である。表示デバイス30は、文字認識装置40と一体に構成されてもよい。
【0030】
文字認識装置40は、プロセッサ41、通信I/F42およびメモリ43を少なくとも含む。文字認識装置40は、例えば、PC(Personal Computer)である。
【0031】
プロセッサ41は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphical Processing Unit)もしくはFPGA(Field Programmable Gate Array)である。プロセッサ41は、文字認識装置40の全体的な動作を司るコントローラとして機能する。プロセッサ41は文字認識装置40の各部の動作を統括するための制御処理、文字認識装置40の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ41は、メモリ43に記憶されたプログラムに従って動作する。プロセッサ41は、動作時にメモリ43を使用し、プロセッサ41が生成または取得したデータをメモリ43に一時的に保存する。プロセッサ41は、メモリ43に記憶されたプログラムおよびデータを用いることで、文字列検出部41A、文字列認識部41B、属性判定部41CおよびトレイラID推定部41Dのそれぞれの機能を実現する。
【0032】
検出部の一例としての文字列検出部41Aは、撮像デバイス10から取得した撮像画像の中から文字列を検出する。文字列検出部41Aは、機械学習等の公知の技術を用いて文字列を検出する。
【0033】
認識部の一例としての文字列認識部41Bは、文字列検出部41Aによって検出された文字列の文字認識を行う。文字列認識部41Bは、OCR(Optical Character Recognition)等の公知の技術を用いて文字列を文字認識する。
【0034】
判定部の一例としての属性判定部41Cは、文字列検出部41Aによって認識された文字列の属性を判定する。属性とは、例えば、文字の書き方、文字列の位置または文字列の示す内容等である。属性については後述する。
【0035】
判定部の一例としてのトレイラID推定部41Dは、検出および認識された各文字列がトレイラIDであるか否かを属性に基づいて推定する。トレイラID推定部41Dは、属性に基づき文字列がトレイラIDである可能性の高さをスコアとして算出する。トレイラID推定部41Dは、文字列を、トレイラIDと推定されるものと、トレイラIDではないと推定されるものと、算出したスコアからトレイラIDである可能性が高いものと、算出したスコアからトレイラIDである可能性が低いものとに分類する。トレイラID推定部41Dは、分類した文字列をトレイラIDである可能性が高いと考えられる順(例えば、スコアが高い順)にソートする(つまり、並び替える)。トレイラID推定部41Dは、推定の結果、文字列を分類した結果またはソートした結果を通信I/F42に出力する。
【0036】
通信I/F42は、文字認識装置40と撮像デバイス10と、文字認識装置40とデータベース20とおよび文字認識装置40と表示デバイス30との間で無線または有線で通信を行うインターフェース回路である。ここでI/Fは、インターフェースのことを表す。文字認識装置40と撮像デバイス10と、文字認識装置40とデータベース20とおよび文字認識装置40と表示デバイス30との通信は、ネットワークを介してもよい。通信I/F42による通信方式は、例えば、WAN(Wide Area Network)、LAN(Local Area Network)、LTE(Long Term Evolution)、5G等の移動体通信、電力線通信、近距離無線通信(例えばBlootooth(登録商標)通信)または携帯電話用の通信等である。
【0037】
メモリ43は、例えばRAM(Random Access Memory)とROMとを用いて構成され、文字認識装置40の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。RAMは、例えば、文字認識装置40の動作中に使用されるワークメモリである。ROMは、例えば、文字認識装置40を制御するためのプログラムを予め記憶して保持する。
【0038】
次に、図3を参照して、文字認識装置40が実行する処理のフローチャートを説明する。図3は、文字認識装置40が実行する処理のプロ―チャートである。図3に係るフローチャートの各処理は、プロセッサ41によって実行される。
【0039】
プロセッサ41は、撮像デバイス10から撮像画像を取得する(ステップSt100)。
【0040】
プロセッサ41は、ステップSt100の処理で取得した撮像画像から文字列を検出する(ステップSt101)。
【0041】
プロセッサ41は、ステップSt101の処理で検出された文字列を文字認識する(ステップSt102)。
【0042】
プロセッサ41は、ステップSt102の処理で認識された文字列の属性を判定する(ステップSt103)。
【0043】
プロセッサ41は、データベース20に保存されている分類テーブルを読み込む(ステップSt104)。なお、ステップSt104の処理は省略されてもよい。
【0044】
プロセッサ41は、ステップSt103の処理で判定された属性に基づき、文字列がトレイラIDであるか否かを推定する。プロセッサ41は、ステップSt101の処理で検出された複数の文字列全てについてトレイラIDであるか否かを推定し、トレイラIDと推定される文字列とトレイラIDではないと推定される文字列とを分類する(ステップSt105)。ステップSt105の処理については、図5で詳述する。
【0045】
プロセッサ41は、ステップSt105の処理で分類された文字列をデータベース20に出力し書き込む(ステップSt106)。
【0046】
プロセッサ41は、ステップSt105の結果を表示デバイス30に出力する(ステップSt107)。なお、ステップSt107の処理は省略されてもよい。
【0047】
次に、図4を参照して、トレイラIDと推定される属性とトレイラIDではないと推定される属性とを説明する。図4は、トレイラIDと推定される属性とトレイラIDではないと推定される属性とを示す図である。
【0048】
図4に示される分類テーブルは、各属性がトレイラIDであると推定される属性であるか、トレイラIDではないと推定される属性であるかについて分類されたテーブルである。
【0049】
「文字の書き方」に係る各属性がトレイラIDであると推定されるものかトレイラIDではないと推定されるものかを説明する。
【0050】
文字列が縦書きであることは、トレイラIDであると推定される属性の1つである。一般的に、社名、電話番号、URL等の情報が縦書きで記載される可能性は低く、また、ナンバープレートの文字も横書きで記載するよう規定されている。そのため、トレイラID以外の文字が縦書きで記載される可能性は低いためである。
【0051】
文字列に含まれる文字が同一のサイズである、等間隔である、単色であるまたはゴシック系のフォントであることは、その文字列はトレイラIDであると推定される属性の1つである。トレイラIDは、その性質上、宣伝的な目的で使用される可能性は低いため、特殊なデザイン等が採用される可能性は低く、単純な態様で記載されることが多い。そのため、文字列が上述したような単純な態様で記載されていることは、その文字列がトレイラIDであると推定する根拠となり得る。
【0052】
文字列が長方形の中に書かれていることはトレイラIDであると推定される属性の1つである。トレイラの色とトレイラIDとが類似の色の場合、視認性を向上するための措置が行われることがある。この措置として、トレイラIDの背景として別の色の長方形を描かれることがある。他の措置としては、文字の縁取り等が考えられるが、デザインよりも視認性を重視するトレイラIDに採用される可能性は低い。そのため、文字列が長方形の中に書かれていることは、その文字列がトレイラIDであると推定する根拠となり得る。
【0053】
文字列がユーザ(例えば、文字認識装置40を管理する人物)により予め定めらえた所定のサイズよりも大きいことは、トレイラIDであると推定される属性の1つである。トレイラIDは、視認性を重視して大きく記載されることが多いためである。
【0054】
文字列がトレイラに対して所定の倍率であることは、トレイラIDであると推定される属性の1つである。トレイラIDは、視認性を重視して大きく記載されることが多いためである。
【0055】
文字列が飾り系のフォントまたは斜体のフォントであることは、トレイラIDではないと推定される属性の1つである。トレイラIDは、IDそのものを視認させるために記載される文字列であるため、書体等を必要以上に複雑にする必要はないためである。
【0056】
次に、「文字の位置」に係る各属性がトレイラIDであると推定されるものかトレイラIDではないと推定されるものかを説明する。
【0057】
文字列がナンバープレートより上に位置することは、トレイラIDであると推定される属性の1つである。トレイラIDが、一般的に車体の下部に配置されるナンバープレートよりも低い位置に記載される可能性は低いためである。なお、ナンバープレートの位置を検知する手法は様々なものが知られているため、詳細は省略する。
【0058】
文字列がトレイラのコーナに縦書きに記載されることはトレイラIDであると推定される属性の1つである。トレイラのコーナは、意識しなくては視認しにくい箇所であるため、会社名や電話番号等の公に発信したい情報を記載する位置としては選ばれにくい。そのため、この箇所に記載されている文字列は、トレイラIDのように業者が特殊な用途に用いる文字列である可能性が高い。なお、縦書きの文字列がトレイラIDである可能性が高いことは上述した通りである。なお、本実施の形態ではコーナに縦書きで記載されていることを属性の例としているが、文字列の方向を問わず、文字列がコーナに記載されていることをトレイラIDであると推定される属性として用いてもよい。上述の通り、コーナに記載されていること自体が特殊な用途の文字列であることを示唆しているためである。
【0059】
文字列がトラクタLEに記載されていることは、トレイラIDではないと推定される属性の1つである。トレイラはトラクタを付け替えて移動させることが可能であるため、トラクタにトレイラを識別する文字列であるトレイラIDを記載する可能性は低いためである。
【0060】
文字列が会社のロゴ,マーク,文字列の上または下に記載されることはトレイラIDではないと推定される属性の1つである。会社のロゴ等の周辺に記載されている文字列は、電話番号や宣伝文句など、公衆に向けて発信すべき情報である可能性が高く、トレイラIDのような業者向けの情報が記載される可能性は低いためである。
【0061】
次に、「文字列の示す内容」に係る各属性がトレイラIDであると推定されるものかトレイラIDではないと推定されるものかを説明する。
【0062】
文字列が大文字および数字のみからなることは、トレイラIDであると推定される属性の1つである。大文字と小文字など混同し易い文字が混ざった文字列をIDとして使用すると、同一の発音で異なるIDが複数存在することとなり混乱を招くため、IDとして使用する文字の種類は限定することが一般的なためである。ここで、大文字と小文字とでは視認性の観点から大文字が採用されることが多く、また、より多くのIDを生成するために数字も併用されることが一般的であるため、文字列が大文字および数字のみからなることはトレイラIDであると推定する根拠となり得る。なお、実施の形態1では大文字および数字のみからなる文字列をトレイラIDであると推定される属性の1つとしているが、トレイラIDとして大文字、小文字または数字のいずれか一種のみからなる文字列が使用される傾向があることが既知であれば、文字列がその文字種からなることをトレイラIDであると推定される属性の1つとしてもよい。また、文字列に漢字やハングルなどの一部の言語でしか使用されない文字種が含まれていないことを、トレイラIDであると推定される属性の1つとしてもよい。特にグローバルな運送を行う場合、限られた言語でしか読み取れない文字をトレイラIDとして使用する可能性は低いためである。
【0063】
文字数がユーザによって予め定められた所定の範囲内であることは、トレイラIDであると推定される属性の1つである。文章等と異なり、トレイラIDを構成する文字数は限られた文字数であることが多いためである。
【0064】
文字列が会社ごとの特定のルールに即していることは、トレイラIDであると推定される属性の1つである。会社ごとのルールが既知であれば、そのルールに合致している文字列がトレイラIDである可能性が高いためである。
【0065】
文字列がコンテナIDであることは、トレイラIDではないと推定される属性の1つである。コンテナIDとは、所定の規定にしたがって記載される、コンテナの管理および識別に用いられるコードである。実施の形態1では、コンテナIDは、ISO6346で規定されている国際規格のコードであるものとする。コンテナIDはコンテナを管理するために用いられるIDであり業者間で統一的な規格が定められている文字列である。各業者が自ら使用するトレイラIDとしてこの規格に合致するトレイラIDを採用すると業者間でのコンテナの管理に支障をきたすため、トレイラIDの態様として、コンテナIDの規格に一致する態様が採用される可能性は低い。したがって、文字列がコンテナIDであることは、トレイラIDではないと推定する根拠となり得る。
【0066】
文字列がトレイラの高さを示すものであることは、トレイラIDではないと推定される属性の1つである。なお、文字列がトレイラの高さを文字列であるか否かは、単位を示す文字の有無や数値の桁数などから判断できる。また、トレイラ以外のものの高さ(例えばトラクタの高さ)を示す文字列等が記載されている可能性がある場合には、文字列がトラクタの高さを示すものであることを、トレイラIDではないと推定される属性として用いてもよい。
【0067】
文字列が一般名称であることは、トレイラIDではないと推定される属性の1つである。トレイラIDは、他の文字列との混同を防ぐため、意味のない文字列として構成されることが多いためである。
【0068】
文字列が会社名であることは、トレイラIDではないと推定される属性の1つである。トレイラIDは、他の文字列との混同を防ぐため、意味のない文字列として構成されることが多いためである。ここで、文字列が会社名であるか否かは、例えば、認識した文字列を会社名のデータベースと比較することによって推定することができる。なお、トレイラIDのユニーク性を確保するため、トレイラIDの一部に会社名が含まれる場合もある。そのため、会社名が含まれるトレイラIDが撮像され得ることが既知である場合には、文字列が会社名であることをトレイラIDではないと推定される属性から除いてもよい。
【0069】
文字列が電話番号であることは、トレイラIDではないと推定される属性の1つである。なお、文字列が電話番号であるか否かは、認識された文字列の桁数や、ハイフンの有無などのフォーマット、または、文字列の内容と電話番号のデータベースとの比較によって推定することができる。
【0070】
文字列がナンバープレートであることは、トレイラIDではないと推定される属性の1つである。ナンバープレートに記載してもよい文字列は法律等で規制されていることが多く、トレイラIDが記載されている可能性は低いためである。
【0071】
文字列が撮像画像に記載される日時および時刻等に係るタイムスタンプであることは、トレイラIDではないと推定される属性の1つである。
【0072】
図4に示す星マークを付与した属性(文字列が縦書きであること、文字列がコンテナIDであること)は、文字列がトレイラIDであるか否かを推定される場合に、他の属性よりも優先的に判断される属性である。ここで、優先的に判断される属性は、他の属性または属性の組み合わせよりも、トレイラIDを高確率で識別できる可能性が高い属性であってよい。実施の形態1で、縦書きであること、および、コンテナIDであることをこの属性として用いている理由は以下のとおりである。まず、コンテナに記載されている文字列は一般的には横書きが多く、縦書きの文字列が社名等を示す文字列である可能性は低い。そのため、縦書きの文字列を選定することでトレイラIDである可能性の低い文字列を除外できる。ただし、コンテナIDは、縦書きで記載される可能性のあることが知られているため、縦書きであることのみではコンテナIDは排除しきれない場合がある。しかし、コンテナIDは、規格に定められた態様で記載する必要があるため、その態様に合致しているか否かに基づいて、文字列がコンテナIDであるか否かを確実に判断することができる。すなわち、縦書きであり、かつ、コンテナIDではない文字列は、高い確率でトレイラIDであると推定することができる。
【0073】
図4に示す二重丸を付与した属性(文字列がトレイラの高さを表すこと、文字列が一般名詞、会社名、電話番号、ナンバープレートまたはタイムスタンプであること)は、文字列がいずれかの属性に当てはまる場合トレイラIDではないと判定される属性である。
【0074】
次に、図5を参照して、文字列がトレイラIDと推定されるか否かの分類に係る処理を説明する。図5は、文字列がトレイラIDと推定されるか否かの分類に係るフローチャートである。図5のフローチャートに係る各処理はプロセッサ41によって実行される。
【0075】
プロセッサ41は、文字列がコンテナIDであるか否かを判定する(ステップSt200)。プロセッサ41は、文字列がコンテナIDであると判定する場合(ステップSt200,YES)、文字列はトレイラIDではないと判定する(ステップSt207)。
【0076】
プロセッサ41は、文字列がコンテナIDではないと判定する場合(ステップSt200,NO)、文字列が縦書きであるか否かを判定する(ステップSt201)。
【0077】
プロセッサ41は、文字列が縦書きであると判定する場合(ステップSt201,YES)、文字列がトレイラIDであると判定する(ステップSt202)。
【0078】
プロセッサ41は、文字列が縦書きではないと判定する場合(ステップSt201,NO)、文字列の示す内容がトレイラID以外か否かを判定する(ステップSt203)。つまり、プロセッサ41は、ステップSt203の処理で、文字列が図4のテーブルで二重丸を付与した各属性に該当するものであるか否かに係る判定を行う。
【0079】
プロセッサ41は、図4のテーブルで二重丸を付与した属性のいずれかに文字列が該当する(つまり、文字列がトレイラID以外)と判定すると(ステップSt203,YES)、当該文字列はトレイラIDではないと判定する(ステップSt207)。
【0080】
プロセッサ41は、図4のテーブルで二重丸を付与した属性のいずれかに文字列が該当しない(つまり、文字列がトレイラID以外ではない)と判定すると(ステップSt203,NO)、図4のテーブルの記号を付与していないそれ以外の属性(以下、通常属性と称する)を用いて文字列がトレイラIDである可能性が高いか否かを判定する(ステップSt204)。プロセッサ41は、例えば、文字列がトレイラIDである可能性の高さをスコアとして算出する。プロセッサ41は、例えば、文字列がトレイラIDと推定される通常属性に該当する場合はスコアを加点し、文字列がトレイラIDでないと推定される通常属性に該当する場合はスコアを減点する。なお、スコアの算出方法は上述した例に限られず、スコアは、加算、減算および乗算を組み合わせて算出されてもよい。スコアが高いほど文字列がトレイラIDである可能性が高くなる。プロセッサ41は、算出したスコアに基づき文字列をソート(例えば、スコアが高い順に並べる)してもよい。
【0081】
プロセッサ41は、通常属性を用いて文字列がトレイラIDである可能性が高いと判定する場合(ステップSt204,YES)、当該文字列はトレイラIDである可能性が高いと分類する(ステップSt205)。プロセッサ41は、例えば、算出したスコアが予め定められた閾値以上である場合、文字列はトレイラIDである可能性が高いと判定する。また、プロセッサ41は、トレイラIDである可能性が高いと判定した文字列をスコア順にソート(つまり、スコアが高いもしくは低い順に並べる)してもよい。
【0082】
プロセッサ41は、通常属性を用いて文字列がトレイラIDである可能性が低いと判定する場合(ステップSt204,NO)、当該文字列はトレイラIDである可能性が低いと分類する(ステップSt206)。プロセッサ41は、例えば、算出したスコアが予め定められた閾値未満である場合、文字列はトレイラIDである可能性が低いと判定する。また、プロセッサ41は、トレイラIDである可能性が低いと判定した文字列をスコア順にソート(つまり、スコアが高いもしくは低い順に並べる)してもよい。
【0083】
(その他変形例)
上述した実施の形態における、トレイラIDであると推定される属性とトレイラIDでないと推定される属性は一例であり、他の条件に基づいてトレイラIDであると推定される属性およびトレイラIDでないと推定される属性を採用してもよい。また、トレイラIDであると推定される属性とトレイラIDでないと推定される属性と逆転させて等価な意味を持つ属性として用いてもよい。例えば、文字列が縦書きであることをトレイラIDであると推定する属性として用いることに替えて、文字列が横書きであることをトレイラIDでないと推定される属性として用いてもよい。
【0084】
上述した実施の形態では、文字列が縦書きであること、および、文字列がコンテナIDであることを、他の属性よりも優先的に判断される属性として例示している。しかし、いずれか一方の属性や、他の属性を、優先的に判断される属性として用いてもよい。上述した通り、文字列が縦書きであり、かつ、文字列がコンテナIDである場合、その文字列は高確率でトレイラIDであると言える。しかし、例えば、縦書きの文字列にはコンテナIDが含まれていないことが既知である場合には、文字列が縦書きであることのみを優先的に判断される属性としてもよい。また、例えば、トレイラIDが特殊な態様で記載されていることが既知である場合には、それらの属性を優先的に判断される属性として利用することでより効率的にトレイラIDを認識することができる。
【0085】
(実施の形態1のまとめ)
以上の実施の形態1の記載により、下記技術が開示される。
【0086】
<技術1>
実施の形態1に係る文字認識装置(例えば、文字認識装置40)は、撮像デバイス(例えば、撮像デバイス10)によって撮像されたトレイラを含む撮像画像から少なくとも1つの文字列を認識する認識部(例えば、文字列認識部41B)と、認識部によって認識された文字列の属性を判定する属性判定部(例えば、属性判定部41C)と、属性判定部により判定された文字列の属性に基づき、文字列がトレイラIDであるか否か推定するトレイラID推定部(例えば、トレイラID推定部41D)と、を備える。
【0087】
これにより、実施の形態1に係る文字認識装置は、トレイラに複数の文字列が様々な大きさ、フォントまたは書き方で任意の位置に記載されている場合に、複数の文字列の中からトレイラIDと考えられる文字列を検出することができる。つまり、文字認識装置は、トレイラに記載された複数の文字列の中から高精度にトレイラIDを検出することができる。
【0088】
<技術2>
技術1に記載の文字認識装置において、トレイラID推定部は、文字列の書き方が縦書きであり、かつ、文字列の示す内容が所定の規定にしたがったコンテナIDでない場合、文字列をトレイラIDであると推定する。
【0089】
これにより、実施の形態1に係る文字認識装置は、文字列がコンテナIDであるか否かを、所定の規格によって定められた態様に合致しているか否かに基づいて確実に判断することができる。文字認識装置は、コンテナIDが縦書きで記載されている場合に、その文字列を高い確率でトレイラIDではないと推定することができる。つまり、文字認識装置は、複数の文字列の中からコンテナIDを高い確率で排除しトレイラIDと考えられる文字列を高精度に検出することができる。
【0090】
<技術3>
技術1または2に記載の文字認識装置において、トレイラID推定部は、文字列の書き方が縦書きであり、かつ、文字列の示す内容がISO6346で規定されているコンテナIDでない場合、文字列を前記トレイラIDであると推定する。
【0091】
これにより、実施の形態1に係る文字認識装置は、複数の文字列の中からコンテナIDを排除しトレイラIDと考えられる文字列を高精度に検出することができる。
【0092】
<技術4>
技術1から3のいずれか1つに記載の文字認識装置において、トレイラID推定部は、文字列の書き方が縦書きでなく、かつ文字列の示す内容が前記コンテナIDでなく、かつ文字列の示す内容がトレイラID以外を示すものである場合、文字列を前記トレイラIDではないと推定する。
【0093】
これにより、実施の形態1に係る文字認識装置は、コンテナIDではない任意の横書きの文字列において、文字列の示す内容がトレイラID以外の場合に、当該文字列を排除することができる。つまり、文字認識装置は、トレイラID以外を示す文字列をトレイラIDと誤検出してしまうのを防ぐことができる。
【0094】
<技術5>
技術1から4のいずれか1つに記載の文字認識装置において、トレイラID以外を示すものは、文字列が、トレイラの高さを示す、一般名称を示す、会社名を示す、電話番号を示す、ナンバープレートを示すまたは撮像デバイスによって撮像画像に埋め込まれる時刻を示すものである。
【0095】
これにより、実施の形態1に係る文字認識装置は、トレイラID以外を示す文字列をトレイラIDと誤検出してしまうのを防ぐことができる。
【0096】
<技術6>
技術1から5のいずれか1つに記載の文字認識装置において、トレイラID推定部は、文字列の書き方が縦書きでなく、かつ文字列の示す内容がコンテナIDでなく、かつ文字列の示す内容がトレイラID以外を示すものでない場合、文字の書き方に係る属性と文字列の位置に係る属性と文字列の示す内容がトレイラIDであると推定される属性とに基づきトレイラIDである可能性が高いか否かを推定する。
【0097】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列を、トレイラIDである可能性が高いか否かで高精度に分類することができる。
【0098】
<技術7>
技術1から6のいずれか1つに記載の文字認識装置において、トレイラID推定部は、文字列がトレイラIDである可能性の高さをスコアとして算出する。
【0099】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載された文字列をトレイラIDである可能性の高さでスコア付けて分類することができる。
【0100】
<技術8>
技術1から7のいずれか1つに記載の文字認識装置において、トレイラID推定部は、全ての文字が同一のサイズでありかつ等間隔である場合、文字列をトレイラIDである可能性が高いと推定する。
【0101】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列の中からトレイラIDである可能性が高い文字列を抽出することができる。
【0102】
<技術9>
技術1から8のいずれか1つに記載の文字認識装置において、トレイラID推定部は、文字列が文字装飾を施されている場合、文字列を前記トレイラIDである可能性は低いと判定する。
【0103】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列の中からトレイラIDである可能性が低い文字列を抽出し排除することができる。
【0104】
<技術10>
技術1から9のいずれか1つに記載の文字認識装置において、トレイラID推定部は、文字列がナンバープレートよりも上に位置するもしくは文字列が前記トレイラ内に位置する場合、文字列をトレイラIDである可能性が高いと推定する。
【0105】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列の中からトレイラIDである可能性が高い文字列を抽出することができる。
【0106】
<技術11>
技術1から10のいずれか1つに記載の文字認識装置において、トレイラID推定部は、文字列がトラクタに記載されているもしくは会社のロゴの上または下に記載されている場合、文字列をトレイラIDである可能性は低いと推定する。
【0107】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列の中からトレイラIDである可能性が低い文字列を抽出し排除することができる。
【0108】
<技術12>
技術1から11のいずれか1つに記載の文字認識装置において、トレイラID推定部は、文字列が大文字および数字のみからなる場合、文字列の文字数が所定の文字数以下である場合または文字列が会社ごとの特定のルールに即している場合、文字列をトレイラIDである可能性が高いと推定する。
【0109】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列の中からトレイラIDである可能性が高い文字列を抽出することができる。
【0110】
<技術13>
技術1から12のいずれか1つに記載の文字認識装置において、トレイラID推定部は、所定の規定にしたがったコンテナIDである場合、文字列はトレイラIDではないと推定する。
【0111】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列の中からコンテナIDであると推定される文字列を排除することができる。
【0112】
<技術14>
技術1から13のいずれか1つに記載の文字認識装置において、属性は、文字の書き方、文字列の位置または文字列が示す内容である。
【0113】
これにより、実施の形態1に係る文字認識装置は、トレイラに記載される複数の文字列を各属性に基づきトレイラIDであるか否かを推定することができる。つまり、文字認識装置は、複数の文字列の中から高精度にトレイラIDを検出することができる。
【0114】
<技術15>
技術1から14のいずれかひとつに記載の文字認識装置において、トレイラID推定部は、推定結果を表示デバイスに出力する。
【0115】
これにより、実施の形態1に係る文字認識装置は、文字認識装置を使用するユーザに対し、トレイラIDを用いてトレイラを識別することを支援することができる。
【0116】
<実施の形態2に至る経緯>
特許文献1には、自車両に搭載された走行軌跡予測装置が開示されている。走行軌跡予測装置は、ステレオカメラにより撮像された視差画像を解析して、先行車両の車体面の向きを検出する。走行軌跡予測装置は、先行車両の車体面の向きの変化から先行車両のヨーレートを算出し、先行車両の位置の変化から先行車両の速度を算出して、これら先行車両のヨーレート、および速度を用いて先行車両の将来の走行軌跡を予測する。
【0117】
近年、トレイラを用いた物流が盛んになってきており、各トレイラの所在を効率的に管理したいというニーズが高まってきている。ここで、トレイラとは牽引車両(トラクタとも呼ぶ)によって牽引される被牽引車両を意味する。複数のトレイラは、倉庫または各地(例えば、出発地点、目的地点または中継地点等)に存在するターミナル等に集合することがある(以下、トレイラが集合する地点のことをトレイラステーションと称する)。一般的にトレイラには、トレイラの識別に係るID(identification)が記載されているため、このIDを用いてトレイラステーション内のトレイラを管理できると考えられる。トレイラステーション内のトレイラを管理するために、トレイラステーションにこれから入るトレイラと出るトレイラとを判別したい(つまり、トレイラステーションの位置に対する車両の向きを判別したい)というニーズがある。
【0118】
特許文献1では、先行車両の車体面の向きの変化から先行車両のヨーレートを算出するため、撮像時刻の異なる複数の画像を用いる必要があり複雑な処理となるという課題がある。
【0119】
そこで、以下の実施の形態2では、撮像画像から容易に車両の進行方向を推定する進行方向推定装置および進行方向推定方法の例を説明する。なお、以下の説明において実施の形態1と同一の構成要素については同一の符合を用いることで、その説明を省略する。
【0120】
<実施の形態2>
近年、物流の業界が盛んになるに伴い、多数のトレイラTRを効率的に管理する必要性が高まっている。例えば、複数のトレイラTRが集合する場所(例えば、トレイラステーション)で、それぞれのトレイラTRを識別する必要がある。トレイラTRおよびトラクタLEに記載されている複数の文字列の中からトレイラIDを用いてトレイラステーションに存在する(つまり、トレイラステーションを出入りする)トレイラTRを正確に管理することが求められている。
【0121】
図6を参照して、実施の形態2に係る進行方向推定システム1Aのブロック図を説明する。図6は、実施の形態2に係る進行方向推定システム1Aのブロック図である。
【0122】
進行方向推定システム1Aは、撮像デバイス10A、データベース20A、表示デバイス30Aおよび進行方向推定装置50を少なくとも含む。
【0123】
撮像デバイス10Aは、トレイラを撮像するデバイスである。撮像デバイス10Aは、1台または複数台設置されてもよい。撮像デバイス10Aは、少なくとも光学素子としてのレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。レンズは、撮像デバイス10Aの撮像した領域の画角内からの対象物により反射された光を入射してイメージセンサの受光面(言い換えると、撮像面)に対象物の光学像を結像する。イメージセンサは、例えばCCDあるいはCMOSなどの固体撮像素子である。イメージセンサは、所定時間(例えば1/30(秒))ごとに、レンズを介して撮像面に結像した光学像を電気信号に変換する。例えば、所定時間が1/30(秒)である場合、撮像デバイス10Aのフレームレートは30fpsとなる。また、撮像デバイス10Aは、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで画像データまたは映像データを生成してもよい。撮像デバイス10Aは、画像データまたは映像データ(以下、撮像画像と称する)を進行方向推定装置50に出力する。
【0124】
データベース20Aは、記憶媒体(例えばフラッシュメモリ、HDD、SSD)を用いて構成される。データベース20Aは、分類テーブルが保存されている。また、データベース20Aは、進行方向推定装置50で実行される文字列がトレイラIDであるか否かに係る判定の結果が書き込まれる。データベース20Aは、トレイラステーション100(図7図8参照)に存在するトレイラのトレイラIDを保存する。データベース20Aは、トレイラIDに、トレイラを牽引する車両Vのナンバープレートと、車種と、進入時刻と、判定に用いられた撮像画像との内少なくとも1つを紐づけた情報を保存してもよい。なお、データベース20Aは、進行方向推定装置50に組み込まれてもよい。
【0125】
表示デバイス30Aは、文字列がトレイラIDであるか否かに係る判定結果が表示される。表示デバイス30Aは、進行方向推定装置50による車両Vの進行方向の判定結果が表示される。表示デバイス30Aは、例えば、タッチパネルディスプレイ、ディスプレイまたはユーザ(例えば、トレイラステーション100を管理する人物)の有する携帯電話等である。表示デバイス30Aは、管理室等に設置されるPC等の画面またはモニタであってもよい。表示デバイス30Aは、進行方向推定装置50と一体に構成されてもよい。
【0126】
進行方向推定装置50は、プロセッサ51、通信I/F52およびメモリ53を少なくとも含む。進行方向推定装置50は、例えば、PCである。
【0127】
プロセッサ51は、例えばCPU、DSP、GPUもしくはFPGAである。プロセッサ51は、進行方向推定装置50の全体的な動作を司るコントローラとして機能する。プロセッサ51は、進行方向推定装置50の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。進行方向推定装置50は、メモリ53を使用し、プロセッサ51が生成または取得したデータをメモリ53に一時的に保存する。プロセッサ51は、メモリ53に記憶されたプログラムおよびデータを用いることで、文字列検出部41A、文字列認識部41B、属性判定部41C、トレイラID推定部41D、トラクタ検出部41E、文字列選別部41F、進行方向推定部41Gおよびデータベース更新部41Hのそれぞれの機能を実現する。
【0128】
検出部の一例としてのトラクタ検出部41Eは、撮像デバイス10Aから取得した撮像画像の中からトラクタLEを検出する。トラクタ検出部41Eは、深層学習で作成された検出器またはセグメンテーション技術等の技術を用いてトラクタLEを検出する。
【0129】
選別部の一例としての文字列選別部41Fは、トレイラID推定部41Dが推定したトレイラIDと推定される少なくとも1つ以上の複数の文字列(以下、トレイラID候補と称する)の中から、車両Vの進行方向を推定する処理に用いるトレイラID候補を選別する。文字列選別部41Fが実行するトレイラID候補の選別方法については後述する。
【0130】
推定部の一例としての進行方向推定部41Gは、トラクタ検出部41Eによって検出されたトラクタLEと選別されたトレイラID候補との位置関係から車両Vの進行方向を推定する。
【0131】
更新部の一例としてのデータベース更新部41Hは、進行方向推定部41Gによって推定された車両Vの進行方向に基づき、データベース20Aを更新する。例えば、データベース更新部41Hは、車両Vがトレイラステーション100から遠ざかる方向に進行していると判定された場合、データベース20Aから車両Vに係る情報(例えば、トレイラID)を削除する。データベース更新部41Hは、車両Vがトレイラステーション100に入る方向に進行していると判定された場合、データベース20Aに車両Vに係る情報を書き込みする。またデータベース更新部41Hは、データベース20Aを更新する際、表示デバイス30Aに通知を送ってもよい。データベース更新部41Hが実行する通知に関しては図12で説明する。
【0132】
通信I/F52は、進行方向推定装置50と撮像デバイス10Aと、進行方向推定装置50とデータベース20Aと、進行方向推定装置50と表示デバイス30Aと、のそれぞれの間で無線または有線で通信を行うインターフェース回路である。ここでI/Fは、インターフェースのことを表す。進行方向推定装置50と撮像デバイス10Aと、進行方向推定装置50とデータベース20Aと、進行方向推定装置50と表示デバイス30Aとのそれぞれの間の通信は、ネットワークを介してもよい。通信I/F52による通信方式は、有線通信または無線通信である。具体的には、WAN、LAN、LTE、5G等の移動体通信、電力線通信、近距離無線通信(例えばBlootooth(登録商標)通信)または携帯電話用の通信等であってよい。
【0133】
メモリ53は、例えばRAMとROMとを用いて構成され、進行方向推定装置50の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。RAMは、例えば、進行方向推定装置50の動作中に使用されるワークメモリである。ROMは、例えば、進行方向推定装置50を制御するためのプログラムを予め記憶して保持する。
【0134】
図7を参照して、トレイラステーション100に出入りする車両Vの撮像方法の第1の例について説明する。図7は、トレイラステーション100に出入りする車両Vの撮像方法の第1の例を示す図である。
【0135】
車両Vは、道ROを矢印の向きに走行している。図7は、車両Vがトレイラステーション100から遠ざかる方向に走行しておりトレイラステーション100から出ていく様子を表す。
【0136】
道ROの両脇に撮像デバイスCA1と撮像デバイスCA2とが設置されている。撮像デバイスの数は2台に限られず、1台もしくは2台以上の複数であってもよい。
【0137】
撮像デバイスCA1は、撮像デバイスCA1から道ROの方向に対して撮像方向をトレイラステーション100の方に傾けて設置される。
【0138】
撮像デバイスCA2は、撮像デバイスCA2から道ROの方向に対して撮像方向をトレイラステーション100とは反対の方に傾けて設置される。
【0139】
撮像デバイスCA1は、トレイラステーション100にこれから入る車両Vを検出する撮像デバイス(以下、IN用撮像デバイスと称する)と設定してもよい。この場合、撮像デバイスCA1の撮像画像によって車両Vがトレイラステーション100にこれから入ると進行方向推定装置50(図6参照)によって判定される場合にのみ、進行方向推定装置50は判定後の処理を実行する。進行方向推定装置50による判定処理および具体的な判定後の処理に関しては後述する。撮像デバイスCA1の撮像画像によって車両Vがトレイラステーション100から出ると進行方向推定装置50によって判定される場合は、進行方向推定装置50は判定後の処理を実行しない。
【0140】
撮像デバイスCA2は、トレイラステーション100から出る車両Vを検出する撮像デバイス(以下、OUT用撮像デバイスと称する)と設定してもよい。この場合、撮像デバイスCA2の撮像画像によって車両Vがトレイラステーション100から出ると進行方向推定装置50によって判定される場合にのみ進行方向推定装置50は判定後の処理を実行する。撮像デバイスCA2の撮像画像によって車両Vがトレイラステーション100に入ると進行方向推定装置50によって判定される場合は、進行方向推定装置50は判定後の処理を実行しない。
【0141】
なお、撮像デバイスCA1は、IN用撮像デバイスに設定されなくてもよい。撮像デバイスCA2は、OUT用撮像デバイスに設定されなくてもよい。また、IN用撮像デバイスよびOUT用撮像デバイスは、1台に限られず複数台あってもよい。
【0142】
次に、図8を参照してトレイラステーション100に出入りする車両Vの撮像方法の第2の例について説明する。図8は、トレイラステーション100に出入りする車両Vの撮像方法の第2の例を示す図である。
【0143】
車両Vは、道ROを矢印の向きに走行している。図8は、車両Vがトレイラステーション100から遠ざかる方向に走行しておりトレイラステーション100から出ていく様子を表す。
【0144】
道ROの片側に撮像デバイスCA3と撮像デバイスCA4と撮像デバイスCA5とが設置されている。なお、道ROの片側に限られず両側に設置してもよい。また、撮像デバイスの数は3台に限られず1台もしくは2台以上の複数であってもよい。
【0145】
撮像デバイスCA3は、撮像デバイスCA3から道ROの方向に対して撮像方向をトレイラステーション100の方に傾けて設置される。
【0146】
撮像デバイスCA4は、撮像方向を道ROの方向に向けて設置される。
【0147】
撮像デバイスCA5は、撮像デバイスCA5から道ROの方向に対して撮像方向をトレイラステーション100とは反対の方に傾けて設置される。
【0148】
撮像デバイスCA3、撮像デバイスCA4および撮像デバイスCA5は、それぞれ車両Vを撮像する。プロセッサ51は、3台の撮像デバイスから送られた撮像画像の内、車両VのトラクタLEとトレイラIDとを含む画像を用いて解析を行う。図8に示す例と同様に、複数の撮像デバイスで車両Vを撮像する場合、複数の撮像デバイスの内の1台の撮像デバイスの撮像画像を用いて車両Vの向きを判定してもよいし、全ての撮像デバイスの撮像画像を用いた車両Vの向きの判定結果が全て同じ結果となる場合に、当該判定結果を採用してもよい。また、撮像デバイスの台数が奇数である場合、各撮像デバイスの撮像画像を用いた車両Vの判定結果で多数決をとり数の多い判定結果を採用してもよい。
【0149】
なお、図7および図8に係る例の撮像デバイスの位置は、道ROのわきに限られず道ROの上方に設けられてもよい。道ROの上方に撮像デバイスを配置する場合、トラクタLEとトレイラIDとが撮像可能な角度で設けられる。
【0150】
次に、図9を参照して、実施の形態2に係る撮像画像の検出結果の第1の例を説明する。図9は、実施の形態2に係る撮像画像の検出結果の第1の例を示す図である。
【0151】
撮像画像P1は、撮像デバイス10Aによって撮像された撮像画像である。
【0152】
文字列N1は、トラクタLEの上部に横書きで記載される会社名を表す文字列である。
【0153】
文字列N2は、トラクタLEの上部に横書きで記載されるトラクタに係るID(以下、トラクタIDと称する)を表す文字列である。
【0154】
文字列N3は、トラクタLEの側面に縦書きで記載されるトラクタIDを表す文字列である。
【0155】
文字列N4は、トレイラTRの側面に横書きで記載される会社名を表す文字列である。
【0156】
文字列N5は、トレイラTRの側面に横書きで記載される電話番号を表す文字列である。
【0157】
文字列N6は、トレイラTRの側面に縦書きで記載されるトレイラIDを表す文字列である。
【0158】
プロセッサ51のトラクタ検出部41Eは、撮像画像P1の中からトラクタLEを検出する。トラクタ検出部41Eは、検出されたトラクタLEに対しトラクタLEが内部に含まれる枠FRを設定する。枠FRは、例えば、四角形である。なお、枠FRの形は四角形に限られず、円形または楕円形等であってもよい。
【0159】
中心CEは、枠FRの中心位置である。
【0160】
例えば、トラクタLEの位置とトレイラIDの位置との関係から、進行方向推定部41Gは車両Vの進行方向を推定する。進行方向推定部41Gは、撮像画像P1において、トレイラID(つまり、文字列N6)の位置からトラクタLEの位置の方向に車両Vが進行していると推定する。トラクタLEとトレイラIDとを用いた進行方向の推定方法に関しては図13,14で詳述する。なお、本実施の形態では、特に断らない限り、文字列の位置はその文字列が認識された範囲の中心位置であり、トラクタLEの位置は枠FRの中心CEの位置であるものとして説明する。
【0161】
また、本実施の形態では、推定の対象とする進行方向は、所定の軸に沿った方向に限るものとする。すなわち、進行方向の推定には、トレイラIDからトラクタLEの方向を所定の軸に射影した結果を用いるものとする。この所定の軸は、撮像デバイスと監視したい進行方向との位置関係から予め設定される。本実施の形態は、トレイラステーション100に出入りする車両Vの進行方向を推定することを目的としているため、この軸は、撮像画像P1,P2のどちらの方向にトレイラステーション100があるかに応じて設定される。例えば、図9図12ではトレイラTRからトラクタLEの方向に軸が設定される。例えば、図9では、撮像画像P1の長手方向に水平な軸が設定され、図10では、撮像画像P2の長手方向に水平な軸が設定される。このように軸を設定し、軸に射影した結果を用いて進行方向を推定することで、進行方向推定装置50は、車両Vがトレイラステーション100に向かっているか遠ざかっているかの判定を正確に行うことができる。以下、設定された軸を設定軸と称する。以下、この理由を詳細に説明する。なお、図9および図10において車両Vに対して重力方向を下と定義する。例えば、図9または図10においてトレイラIDがトレイラTRの下端から検出された場合、トレイラIDから枠FRの中心CEの方向は設定軸に対し斜め上方向となる。しかし、トレイラステーション100は、設定軸の水平方向に存在しているため、設定軸に対し斜め上方向、または、その逆の設定軸に対し斜め下方向のいずれにも、トレイラステーション100は存在しない。そのため、車両Vがトレイラステーション100に向かっているのか遠ざかっているのかの判定が難しくなる。これに対し、推定の対象となる進行方向を設定軸方向に限定する(設定軸に射影した結果を用いる)と、設定軸の正方向もしくは負方向の何れかの方向にトレイラステーション100が確実に存在するため、進行方向推定装置50は、トレイラステーション100に向かっているか遠ざかっているかの判定を正確に行うことができる。
【0162】
進行方向推定部41Gは、車両Vの進行方向の推定をする際、トラクタLEとトレイラIDとの位置関係に限られずトラクタLEとトレイラTRに記載される文字列(例えば、会社名または電話番号等)との位置関係を用いてもよい。トラクタLEとトレイラTRに記載される文字列との位置関係から車両Vの進行方向を推定する方法は図13,15で詳述する。なお、会社名または電話番号等の文字列とトレイラIDとの双方が利用可能な場合には、トレイラIDを用いる方が進行方向をより正確に推定できる可能性は高い。これは、トラクタLEとトレイラTRとは分離可能であるため、トレイラIDは確実に車両Vの後方に存在するトレイラTRに記載されているが、会社名または電話番号等はトラクタLEに記載されている可能性もあるためである。
【0163】
進行方向推定部41Gは、トラクタLEとコンテナCOとの位置関係に基づき車両Vの進行方向を推定してもよい。この場合、プロセッサ51は、撮像画像P1からコンテナCOの位置を推定する。進行方向推定部41Gは、検出されたコンテナCOからトラクタLEに向かう方向に車両Vが進行していると推定する。
【0164】
次に、図10を参照して、実施の形態2に係る撮像画像の検出結果の第2の例を説明する。図10は、実施の形態2に係る撮像画像の検出結果の第2の例を示す図である。
【0165】
文字列N7は、トレイラTRの側面に縦書きで記載されるトレイラIDを表す文字列である。
【0166】
進行方向推定部41Gは、撮像画像P2において、トレイラID(つまり、文字列N7)からトラクタLE(つまり、枠FR)の方向に車両Vが進行していると推定する。つまり、図10に示す撮像画像P2の車両Vは、図9に示す撮像画像P1と逆の方向に車両Vが進行している。
【0167】
次に、図11および図12を参照して、実施の形態2に係る車両を上方から撮像する際の車両の進行方向の一例について説明する。図11は、実施の形態2に係る車両Vを上方から撮像する際の車両Vの進行方向の第1の例を示す図である。図12は、実施の形態2に係る車両Vを上方から撮像する際の車両Vの進行方向の第2の例を示す図である。
【0168】
図11および図12は、重力方向を下とした場合上から車両Vが撮像された際の模式図を表す。車両Vは、矢印の方向に進行している。
【0169】
車両を上方から撮像する場合、プロセッサ51によってトラクタLEが検出されたか否かに基づいて進行方向を推定してもよい。
【0170】
図11に係る車両Vは、トラクタLEが検出される。図12に係る車両Vは、トラクタLEが検出されない。このようにトラクタLEが検出されるか否かによって車両Vの進行方向を推定する。
【0171】
ここで、車両Vには、トラクタLE自体またはトラクタLEの近傍に、ナンバープレート等のトレイラIDと誤認識され得る文字列が含まれている場合がある。進行方向推定装置50は、このような文字列をトレイラIDだと誤認すると進行方向の判定を誤るおそれがある。そこで、本実施の形態ではトラクタLEと文字列との間の距離が閾値以上の文字列をトレイラIDの可能性がある文字列として選別することで、トレイラIDであるとは考えにくい文字列を評価の対象から除外している。以下、図13を参照して、実施の形態2に係るトラクタLEと文字列との距離と閾値との関係を説明する。図13は、実施の形態2に係るトラクタLEと文字列との距離と閾値との関係を示す図である。
【0172】
線Liは、中心CEから辺S1および辺S2に垂直に伸ばした線である。
【0173】
距離D1は、線Liから文字列N2の垂直距離を表す。距離D2は線Liから文字列N4の垂直距離を表す。距離D3は、線Liから文字列N6の垂直距離を表す。距離D4は、線Liから文字列N3の垂直距離を表す。距離D5は、線Liから文字列N5の垂直距離を表す。なお、図13に示す通り、本実施の形態では、枠FRの中心CEから、各文字列の領域において線Liに最も近い箇所までの垂直距離を用いる。
【0174】
プロセッサ51は、算出された各距離(ここでは、距離D1,D2,D3,D4,D5)が閾値以上であるか否かを判定する。閾値は、例えば、予め定められた固定値である。このように閾値を設定することで、距離が閾値以上であるか否かを容易に判定することができる。なお、閾値は固定値に限られず、枠FRの大きさに対して設定されてもよく、例えば枠FRのサイズ(例えば、辺S1の長さ)の60%の値を閾値としてもよい。特に、トラクタLEの撮像画像内での大きさが多様である場合に固定値の閾値を用いる場合、プロセッサ51は、トラクタLEの大きさに対して閾値が小さすぎると文字列を過剰に排除してしまい、トラクタLEの大きさに対して閾値が大きすぎると文字列を十分に排除できなくなってしまう。そのため、このような場合には、固定値の閾値を用いるよりも、枠FRの大きさに応じて可変の値に設定される閾値を用いる方がトレイラIDの可能性がある文字列を適切に選別できる可能性が高い。なお、上述した数値(60%)は一例でありこれに限られない。
【0175】
なお、プロセッサ51は、閾値を用いず、検出されたトレイラID候補を区別なく利用するようにしてもよい。これは、特に、トラクタLE自体またはトラクタLEの近傍に文字列が記載されていないことが既知である場合またはトレイラIDを高精度に検出できる場合には、閾値を用いてトレイラID候補を選別する意義が薄いためである。また、閾値の値が適切でないと正しいトレイラIDまで誤って除外してしまうおそれがあるためである。
【0176】
閾値を線Liから枠FRの垂直距離とすると、閾値以上であるのは、距離D2、距離D3および距離D5である。つまり、文字列N4、文字列N5および文字列N6が閾値以上の距離に位置する文字列である。プロセッサ51は、閾値以上の距離に位置する文字列を閾値以上の距離に位置するという情報を紐づけて保存(例えば、メモリ53に保存)する。
【0177】
文字列選別部41Fは、閾値以上の距離に位置する文字列の中から車両Vの進行方向の推定に使用する文字列を選別する。進行方向推定部41GがトラクタLEとトレイラIDとの位置関係から車両Vの進行方向を推定する場合、文字列選別部41Fは、トレイラID推定部41DによってトレイラIDである可能性が高いと推定された文字列(以下、トレイラID候補と称する)の中から進行方向を推定する判定に用いる文字列を選別する。文字列選別部41Fは、例えば、距離が閾値以上のトレイラID候補の中から最も距離が近いトレイラID候補を選別する。図13に係る例では、文字列N6が車両Vの進行方向を推定する判定に用いる文字列として選別される。なお、文字列選別部41Fは、距離が閾値以上のトレイラID候補の中から最も距離が遠いトレイラID候補を選別してもよい。文字列選別部41Fは、トレイラID候補の中から、トレイラID推定部41DがもっとトレイラIDである可能性が高いと推定したトレイラID候補を選別してもよい。
【0178】
なお、文字列選別部41Fは、トレイラID候補に限られずトレイラTRに記載された文字列(例えば、会社名、電話番号、URL等を表す英数字、英単語、またはトレイラTRの高さを表す数字等)の中から車両Vの進行方向を推定する判定に用いる文字列を選別してもよい。文字列選別部41Fは、閾値以上の文字列の中から文字列を選別する。
【0179】
文字列選別部41Fは、例えば、閾値以上の文字列の中で最も遠い文字列を選別する。これにより、文字列選別部41Fは、線Liから遠い文字列を選別するためトラクタLE内に記載される文字列を誤って選別することを防ぐことができる。
【0180】
文字列選別部41Fは、例えば、閾値以上の文字列の中で最も近い文字列を選別してもよい。これにより、文字列選別部41Fは、トレイラに記載される文字列以外の文字列(例えば、標識、道に記載された文字または道の脇に建てられた看板に記載された文字等)を誤って選別することを防ぐことができる。
【0181】
文字列選別部41Fは、例えば、閾値以上の文字列の中で会社名または電話番号等の特定の種類の文字列を選別してもよい。
【0182】
上述した文字列選別部41Fの実行する選別の方法は、ユーザ(例えば、トレイラステーション100の車両Vを管理する人物)によって設定可能であってもよい。
【0183】
トラクタLEは車両によって形状が異なるため、トラクタLEの位置のみから車両Vの進行方向を推定すると1枚の撮像画像からでは精度よく推定することが困難である。しかしながら、トラクタLEとトレイラIDとの位置関係を用いることで、進行方向推定装置50は、1枚の撮像画像から精度よく車両Vの進行方向を推定することができる。なお、車両Vの進行方向は車両V全体の形状から推定することもできる。ただし、トラクタLEとトレイラTRとから構成される車両Vは一般的には巨大であるため、車両全体を映し、かつ、トレイラID等の文字の認識に適した画角となるようにカメラを設置することは困難である。そのため、本実施の形態では、車両V全体ではなくトラクタLEとトレイラIDに着目して進行方向の推定を行う構成を採用している。
【0184】
次に、図14を参照して、トレイラIDを用いて車両Vの進行方向を推定する処理を説明する。図14は、トレイラIDを用いて車両Vの進行方向を推定する処理のフローチャートである。図14に係るフローチャートの各処理は、プロセッサ51によって実行される。
【0185】
文字列検出部41Aは、撮像画像に映る文字列を検出する(ステップSt300)。
【0186】
トレイラID推定部41Dは、ステップSt300の処理で検出された文字列の中からトレイラID候補を選択する(ステップSt301)。なお、トレイラID候補の選択方法に関しては実施の形態1と同様である。
【0187】
トラクタ検出部41Eは、ステップSt300の処理とステップSt301の処理と並行して、撮像画像からトラクタLEを検出する(ステップSt302)。
【0188】
進行方向推定部41Gは、各トレイラID候補とトラクタLEとの位置関係を推定する(ステップSt303)。具体的には、進行方向推定部41Gは、中心CE(図13参照)と各トレイラID候補との距離を算出する。
【0189】
文字列選別部41Fは、トレイラID候補とトラクタLEとの位置関係から車両Vの進行方向の推定に最適なトレイラIDを選別する(ステップSt304)。具体的な選別方法に関しては図13で説明したため省略する。
【0190】
進行方向推定部41Gは、ステップSt304の処理で選別されたトレイラIDとトラクタLEとの位置関係から車両Vの進行方向を推定する(ステップSt305)。複数台の撮像デバイスを用いる場合、進行方向推定部41Gは、各撮像デバイスの撮像画像による推定結果が、予め定められた閾値以上同じ結果の場合当該推定結果を採用するとしてもよい。複数台の撮像デバイスの台数が奇数の場合、進行方向推定部41Gは、各撮像デバイスの撮像画像による推定結果のうち、より多い方の推定結果を採用する(つまり、多数決をとる)としてもよい。
【0191】
データベース更新部41Hは、ステップSt305の処理で車両Vがトレイラステーション100から出ていく方向に進行していると推定された場合、データベース20Aから車両Vに関する情報(例えば、トレイラID)を削除する。データベース更新部41Hは、ステップSt305の処理で車両Vがトレイラステーション100に入っていく方向に進行している推定された場合、データベース20Aに車両Vに関する情報を保存する。データベース更新部41Hは、ステップSt305の推定結果に応じてデータベース20Aを更新する(ステップSt306)。
【0192】
データベース更新部41Hは、ステップSt305の処理の推定結果に応じた動作を実行する(ステップSt307)。例えば、データベース更新部41Hは、次の(A1)、(A2)または(A3)の少なくとも1つの動作を実行する。
(A1)データベース更新部41Hは、トレイラステーション100に設置されるゲートを開ける。
(A2)データベース更新部41Hは、ユーザのもつ端末装置に推定結果に係る通知を送信する。
(A3)データベース更新部41Hは、データベース20Aが更新された際に音を鳴らすまたはデータベース20Aに登録された車両Vの台数が所定の閾値以上となる場合アラートを通知する。
なお、ステップSt307の処理は省略されてもよい。
【0193】
次に、図15を参照して、文字列を用いて車両Vの進行方向を推定する処理を説明する。図15は、トレイラIDを用いて車両Vの進行方向を推定する処理のフローチャートである。図15に係るフローチャートの各処理は、プロセッサ51によって実行される。また、図14に係るフローチャートの処理と同一の処理に関しては同一符合を付記し説明を省略する。
【0194】
属性判定部41Cは、ステップSt300の処理で検出した文字列の属性を判定する(ステップSt401)。
【0195】
属性判定部41Cは、文字列の種類(例えば、会社名、電話番号、URL等を表す英数字、英単語またはトレイラTRの高さを表す数字等)を推定する(ステップSt402)。なお、ステップSt401の処理とステップSt402の処理とは省略されてもよい。
【0196】
進行方向推定部41Gは、各文字列とトラクタLEとの位置関係を推定する(ステップSt403)。具体的には、進行方向推定部41Gは、中心CE(図13参照)と文字列との距離を算出する。
【0197】
文字列選別部41Fは、文字列とトラクタLEとの位置関係から車両Vの進行方向の推定に最適な文字列を選別する(ステップSt404)。具体的な選別方法に関しては図13で説明したため省略する。
【0198】
進行方向推定部41Gは、ステップSt404の処理で選別されたトレイラIDとトラクタLEとの位置関係から車両Vの進行方向を推定する(ステップSt405)。
【0199】
(その他変形例)
上述した実施の形態2では、進行方向の推定を行う際に、各文字列の位置はその文字列が認識された範囲の中心の位置であるものとし、トラクタLEの位置は枠FRの中心CEの位置であるものとして説明した。しかし、文字列が認識された範囲内の任意の点の位置を文字列の位置として用いてもよい。また、枠FR(図13参照)内の任意の点の位置を、トラクタLEの位置として用いてもよい。同様に、文字列とトラクタLEとの間の距離は、線Li(図13参照)と、トレイラID候補の領域のうち最も線Liに近い位置との間の垂直距離に限らず、他の位置同士の距離であってもよい。例えば、各トレイラID候補が認識されている領域を構成する辺と、枠FRを構成する辺との間の最短距離を用いてもよい。
【0200】
上述した実施の形態では、データベース20Aは、トレイラステーション100に存在するトレイラのトレイラIDを保存するデータベースであるものとして説明した。しかし、データベース20Aは、車両Vに関する他の情報を保存するデータベースであってもよい。例えば、所定の期間にトレイラステーション100に出入りした車両Vの情報を全て記録するように構成してもよい。この場合、進行方向推定装置50は、車両Vがトレイラステーション100から遠ざかる方向に進行していると判定しても、車両Vに係る情報は削除せず、その車両Vがトレイラステーション100から退出した旨を記録する。
【0201】
上述した実施の形態では、データベース20Aの更新結果をユーザが所有する端末装置に通知する構成を採用していた。しかし、データベース20Aの情報、および、車両Vの進行方向の判定結果は、他の装置に出力されたり他の用途で使用されたりしてもよい。例えば、進行方向推定装置50は、進行方向の情報をトレイラステーション100に配置されたゲートを管理する装置に出力することで、トレイラTRの進行方向に応じてゲートを自動で開閉したりしてもよい。また、進行方向推定装置50は、認識されたトレイラIDを用いてデータベース20Aまたは他のデータベースを参照することでトレイラTRの行き先を特定し、その行き先に合わせて1つ以上のゲートの開閉を制御することでトレイラTRを移動させるルートを案内したり、トレイラステーション100に設置されたパネル等にトレイラTRの行き先を表示させたりしてもよい。
【0202】
上述した実施の形態において、進行方向の判定に用いるトレイラID候補の数は、1つであってもよいし、複数であってもよい。ただし、トレイラIDをデータベース20A等に記録する場合は、記録すべきトレイラIDを決定する過程で、正しいトレイラIDである可能性が高いトレイラID候補が1つに絞りこまれている。そのため、進行方向の判定にもそのトレイラIDを利用すると正確な判定結果が得られる可能性が高い。一方、トレイラIDをデータベース20A等に記録する必要がなかったり、正しいトレイラIDである可能性の高いトレイラID候補が十分に絞り込めなかったりする場合には、進行方向の判定に複数のトレイラID候補を利用した方が正確な判定結果が得られる可能性が高い。複数のトレイラID候補の中には会社名や電話番号等のトレイラIDではない文字列が含まれているおそれがあるものの、いずれも車両Vの後方に記載されていることが多いため、たとえトレイラIDではない文字列が含まれていたとしても進行方向は正確に判定できる可能性が高いためである。なお、複数のトレイラID候補を用いた進行方向の判定は、様々な手法で実現できる。例えば、進行方向推定装置50は、各トレイラID候補とトラクタとの位置関係をそれぞれ確認し、その結果の多数決の結果を採用してもよい。また、進行方向推定装置50は、複数のトレイラID候補を統計的に処理した座標(平均値または中央値)とトラクタとの位置関係に基づいて進行方向を判定してもよい。これらの場合、進行方向推定装置50は、トレイラIDと推定される確率に応じて、よりトレイラID候補の座標が判定結果に重点的に反映されるよう、重みづけを行ってもよい。
【0203】
上述した実施の形態において、車両Vの進行方向の推定の際にトレイラID以外の文字列(会社名または電話番号等)を使用する場合、文字列の種類毎に取り扱いを変えてもよい。文字列の種類によって、車両Vの後方に記載される可能性に差があったり、種類の特定の容易さに差があったりするため、後方に記載されている可能性が高く、かつ、文字種の特定が容易な文字列を優先して使用するようにしてもよい。例えば、会社名は車両Vの前方やトラクタLEに記載されることも多いが、電話番号またはURLなどの会社の宣伝に係る情報は車両Vの後方またはトレイラTRに記載されていることが多い。また、電話番号またはURLは、文字列のフォーマットも他の文字列と区別しやすい。例えば、電話番号であれば「XXX-XXX-XXXX」、URLであれば「www.xxxx.com」というフォーマットが使用されるため、進行方向推定装置50は、文字列がこのフォーマットに合致しているか否かを判定することで電話番号またはURLを他の種類の文字列から容易に区別することができる。したがって、電話番号またはURLを、会社名よりも、トレイラIDの代わりに優先的に使用する文字列として取り扱ってもよい。なお、優先的に使用する態様としては様々なものが考えられる。例えば、車両Vの進行方向の推定にあたって電話番号またはURLは使用し、かつ、会社名を使用しないように制御したり、電話番号またはURLが会社名よりも推定結果に影響し易くなるよう重み付けを行ったりしてもよい。
【0204】
上述した実施の形態では、所定の軸に沿った方向についてのみ進行方向を推定していたが、進行方向推定装置50は、他の方向も含めた進行方向を推定してもよい。このようにすることで、例えば、進行方向推定装置50は、車両Vが車線変更などを行おうとしていること等も推定することができる。
【0205】
上述した実施の形態において、進行方向の推定に用いるトレイラID候補として、トレイラIDである可能性が最も高い候補のみを用いるように構成してもよい。このようにすることで、進行方向推定装置50は、進行方向の推定に用いるトレイラID候補の数を限定することができるため、処理負荷を軽減できる。また、進行方向の推定に用いるトレイラID候補として、トレイラIDである可能性が所定の閾値以上である候補を用いるように構成してもよい。このようにすることで、進行方向推定装置50は、トレイラIDを特定できない場合であっても進行方向を推定することができる。なお、会社名または電話番号などのトレイラIDとの区別が難しい文字列はトレイラに記載される文字列であることが多いため、このような構成を採用した場合も正しい進行方向が推定できる可能性は高い。
【0206】
(本開示のまとめ)
以上の実施の形態2の記載により、下記技術が開示される。
【0207】
<技術1>
実施の形態2に係る進行方向推定装置(例えば、進行方向推定装置50)は、撮像デバイス(例えば、撮像デバイス10A)によって撮像された撮像画像から車両のトレイラを牽引するトラクタ(例えば、トラクタLE)を検出するトラクタ検出部(例えば、トラクタ検出部41E)と、撮像画像からトレイラを識別するトレイラIDを推定するトレイラID推定部(例えば、トレイラID推定部41D)と、撮像画像内におけるトラクタとトレイラIDとの位置関係に基づき車両の進行方向を推定する進行方向推定部(例えば、進行方向推定部41G)と、を備える。
【0208】
これにより、実施の形態2に係る進行方向推定装置は、トラクタとトレイラIDとの位置関係から車両の進行方向を推定することができるため、1枚の撮像画像から車両の進行方向を推定することができる。進行方向推定装置は、1枚の撮像画像を用いた簡単な処理によって車両の進行方向を高精度に推定することができる。
【0209】
<技術2>
技術1に記載の進行方向推定装置において、トレイラID推定部は、撮像画像からトレイラIDと推定されるトレイラID候補を複数選択し、選択されたトレイラID候補の中から車両の進行方向を推定する処理に用いるトレイラID候補を選別する文字列選別部(例えば、文字列選別部41F)を、さらに備える。
【0210】
これにより、実施の形態2に係る進行方向推定装置は、撮像画像から検出されたトレイラID候補の中から車両の進行方向を推定する処理に用いるのに適したトレイラID候補を選別することができる。これにより、進行方向推定装置は、車両の進行方向を推定する処理に用いるのは不適切な文字列(例えば、トラクタに記載される文字列等)を除外し、高精度に車両の進行方向を推定することができる。
【0211】
<技術3>
技術1または技術2に記載の進行方向推定装置において、文字列選別部はトレイラID候補とトラクタの位置との距離が閾値以上であるトレイラID候補の中から車両の進行方向を推定する処理に用いるトレイラID候補を選別する。
【0212】
これにより、実施の形態2に係る進行方向推定装置は、トレイラID候補の中から車両の進行方向を推定する処理に適したトレイラID候補を選別することで高精度に進行方向を推定することができる。
【0213】
<技術4>
技術1から技術3のいずれか1つに記載の進行方向推定装置において、文字列選別部は、距離が閾値以上であるトレイラID候補のうち、距離が最も遠いトレイラID候補を車両の進行方向を推定する処理に用いるトレイラID候補として選別する。
【0214】
これにより、実施の形態2に係る進行方向推定装置は、トラクタ内に記載される文字列を誤って選別するのを防ぎ、誤った推定結果となることを防ぐことができる。進行方向推定装置は、トラクタとの位置関係が適切なトレイラID候補を選別し高精度に車両の進行方向を推定することができる。
【0215】
<技術5>
技術1から技術4のいずれか1つに記載の進行方向推定装置において、文字列選別部は、距離が閾値以上であるトレイラID候補のうち、距離が最も近いトレイラID候補を車両の進行方向を推定する処理に用いるトレイラID候補として選別する。
【0216】
これにより、実施の形態2に係る進行方向推定装置は、トレイラIDである可能性の高いトレイラID候補を選別することができる。進行方向推定装置は、車両のトレイラに記載された文字列以外の文字列(例えば、標識、道に記載された文字または道の脇に建てられた看板に記載された文字等)を誤って選別し、車両の進行方向を誤って推定することを防ぐことができる。
【0217】
<技術6>
技術1から技術5のいずれか1つに記載の進行方向推定装置において、文字列選別部は、トレイラID推定部によってトレイラIDである可能性が所定の閾値よりも高いと推定されるトレイラID候補を車両の進行方向を推定する処理に用いるトレイラID候補として選別する。
【0218】
これにより、実施の形態2に係る進行方向推定装置は、トレイラIDを特定できない場合であっても進行方向を推定することができる。
【0219】
<技術7>
技術1から技術6のいずれか1つに記載の進行方向推定装置において、文字列選別部は、トレイラID推定部によって最もトレイラIDである可能性が高いと推定されるトレイラID候補を車両の進行方向を推定する処理に用いるトレイラID候補として選別する。
【0220】
これにより、実施の形態2に係る進行方向推定装置は、トレイラIDである可能性が高いトレイラID候補を用いることで、車両の進行方向を推定するのに不適切な文字列を誤って選択してしまうのを防ぎ高精度に進行方向を推定することができる。
【0221】
<技術8>
技術1から技術7のいずれか1つに記載の進行方向推定装置において、文字列選別部がトレイラID候補を選別する条件は、ユーザによって設定可能である。
【0222】
これにより、実施の形態2に係る進行方向推定装置は、撮像デバイスがIN用撮像デバイスかOUT用撮像デバイスか、天候、車の形,種類、時刻または所定時間あたりの車両の通過台数等によって適した条件を設定することができる。これにより、進行方向推定装置は、最適な条件で車両の進行方向を高精度に推定することができる。
【0223】
<技術9>
技術1から技術8のいずれか1つに記載の進行方向推定装置において、トラクタ検出部は、検出したトラクタが内部に収まる枠を撮像画像に設定し、枠の中心位置を算出し、トラクタの位置は、枠の中心位置である。
【0224】
これにより、実施の形態2に係る進行方向推定装置は、撮像画像の中のトラクタの位置を高精度に検出することができ、トラクタの位置とトレイラIDとの位置関係を正確に特定することができる。これにより、進行方向推定装置は、車両の進行方向を高精度に推定することができる。
【0225】
<技術10>
技術1から技術9のいずれか1つに記載の進行方向推定装置において、データベースと、車両の進行方向によってデータベースを更新するデータベース更新部と、をさらに備え、データベース更新部は、進行方向推定部が車両は所定位置から離れる方向に進行していると判定する場合、データベースから車両の情報を削除し、進行方向推定部が車両は所定位置に近づく方向に進行していると判定する場合、データベースに車両の情報を追加する。
【0226】
これにより、実施の形態2に係る進行方向推定装置は、トレイラステーションに存在するトレイラの管理を効率よく行うことができる。進行方向推定装置は、ユーザがトレイラステーションに進入もしくは出ていく車両(つまり、ここではトレイラ)およびトレイラステーションに現在存在するトレイラの情報を把握することを支援することができる。
【0227】
<技術11>
技術1から技術10のいずれか1つに記載の進行方向推定装置において、情報は、前記トレイラIDの情報を含む。
【0228】
これにより、実施の形態2に係る進行方向推定装置は、トレイラステーションに現在存在するトレイラを、トレイラIDを用いて管理することを支援することができる。
【0229】
<技術12>
技術1から技術11のいずれか1つに記載の進行方向推定装置において、データベース更新部は、情報として、トレイラIDとナンバープレートの番号、進行方向推定部が車両の進行方向を推定するのに用いた撮像画像または時刻との少なくとも1つを紐づけて更新する。
【0230】
これにより、実施の形態2に係る進行方向推定装置は、ユーザがトレイラステーションに存在するトレイラに係る情報を管理することを支援することができる。
【0231】
<技術13>
技術1から技術12のいずれか1つに記載の進行方向推定装置において、データベース更新部は、データベースを更新する際、ユーザが所有する端末装置に通知を送信する。
【0232】
これにより、実施の形態2に係る進行方向推定装置は、ユーザがリアルタイムにトレイラステーションを出入りする車両に関する情報を知ることを支援することができる。
【0233】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成属性を任意に組み合わせてもよい。
【産業上の利用可能性】
【0234】
本開示の技術は、撮像画像から容易に車両の進行方向を推定する進行方向推定装置および進行方向推定方法として有用である。
【符号の説明】
【0235】
V 車両
TR トレイラ
LE トラクタ
RO 道
ST1,ST2,ST3,ST4,ST5,ST6,ST7,ST8,N1,N2,N3,N4,N5,N6,N7 文字列
CA1,CA2,CA3,CA4,CA5 撮像デバイス
CO コンテナ
P1,P2 撮像画像
CE 中心
FR 枠
D1,D2,D3,D4,D5 距離
S1,S2 辺
Li 線
1 文字認識システム
10 撮像デバイス
20 データベース
30 表示デバイス
40 文字認識装置
41 プロセッサ
41A 文字列検出部
41B 文字列認識部
41C 属性判定部
41D トレイラID推定部
42 通信I/F
43 メモリ
100 トレイラステーション
【要約】
【課題】撮像画像から容易に車両の進行方向を推定する。
【解決手段】進行方向推定装置は、撮像デバイスによって撮像された撮像画像から車両のトレイラを牽引するトラクタを検出するトラクタ検出部を備える。進行方向推定装置は、撮像画像から検出された文字列の中からトレイラを識別するトレイラIDを推定するトレイラID推定部を備える。進行方向推定装置は、撮像画像内におけるトラクタとトレイラIDとの位置関係に基づき車両の進行方向を推定する進行方向推定部と、を備える。
【選択図】図13
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15