特許 7560901 コンピュータ、プログラムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】コンピュータ、プログラムおよび情報処理方法

(51)【国際特許分類】

   G06V 10/764 20220101AFI20240926BHJP

   G06T 7/00 20170101ALI20240926BHJP

   G08G 1/01 20060101ALI20240926BHJP

   H04N 7/18 20060101ALI20240926BHJP

   G08B 25/00 20060101ALI20240926BHJP

【ＦＩ】

G06V10/764

G06T7/00 650B

G06T7/00 350B

G08G1/01 A

H04N7/18 D

G08B25/00 510M

【請求項の数】 7

(21)【出願番号】P 2023108893

(22)【出願日】2023-06-30

【審査請求日】2023-06-30

(73)【特許権者】

【識別番号】519446001

【氏名又は名称】ＥＤＧＥＭＡＴＲＩＸ株式会社

(74)【代理人】

【識別番号】100131842

【弁理士】

【氏名又は名称】加島 広基

(74)【代理人】

【識別番号】100215267

【弁理士】

【氏名又は名称】古屋 秀人

(74)【代理人】

【識別番号】100215555

【弁理士】

【氏名又は名称】今井 貴裕

(72)【発明者】

【氏名】有馬 久雄

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１７－０５４４０８（ＪＰ，Ａ）

【文献】特開２０１６－０２１２００（ＪＰ，Ａ）

【文献】特開２０２０－１４０２３６（ＪＰ，Ａ）

【文献】特開２０２１－１９００９１（ＪＰ，Ａ）

【文献】立川市オリジナルナンバープレート｜立川市，2021年，https://www.city.tachikawa.lg.jp/kazei/kurashi/zekin/kejidosha/originalnumber.html

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／０１

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

カメラを含む端末から送信された、前記カメラにより撮像された対象物の画像を受け付ける受付部と、
総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データを用いて機械学習により生成された、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを用いて、前記受付部により受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定する推定部と、
前記推定部により、画像に前記所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力する出力部と、
を備え、
前記推定モデルは、文字認識ではなく、画像分類により推定するよう学習されたものである、コンピュータ。

【請求項2】

前記所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む前記教師データを用い、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを機械学習により生成するモデル生成部を更に備え、
前記教師データにおいて、前記所定のバイクのナンバープレートを含む画像として、ナンバープレートの形状、ナンバープレートの色、ナンバープレートにおける各数字の大きさおよびナンバープレートにおけるひらがなまたはアルファベットの位置の少なくとも何れかに基づいて分類分けされたナンバープレートの画像が用いられ、
前記推定モデルは、文字認識ではなく、画像分類により推定するよう学習されたものである、請求項１記載のコンピュータ。

【請求項3】

前記教師データにおいて、前記所定のバイクのナンバープレートを含む画像の種類として、六角形であるナンバープレート、白色または深緑色ではないナンバープレート、各数字の大きさが均一ではないナンバープレート、ひらがなまたはアルファベットが数字の左の位置にあるナンバープレートのうちの少なくとも複数の種類のものに分類分けされたナンバープレートの画像が用いられる、請求項２記載のコンピュータ。

【請求項4】

前記推定部は、前記推定モデルを用いて、前記受付部により受け付けられた対象物の画像から前記受付部により受け付けられた対象物の画像にバイクのナンバープレートが含まれるか否かを判定する第１判定工程と、前記第１判定工程により対象物の画像にバイクのナンバープレートが含まれると判定された場合に、対象物の画像に含まれるバイクのナンバープレートが前記所定のバイクのナンバープレートであるか否かを判定する第２判定工程とを実行することにより、前記受付部により受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定する、請求項１記載のコンピュータ。

【請求項5】

前記推定部において、前記第１判定工程により対象物の画像にバイクのナンバープレートが含まれると判定されたときに、前記第２判定工程において同一の対象物を含む複数の画像にそれぞれ含まれるバイクのナンバープレートが前記所定のバイクのナンバープレートであるか否かを判定し、
前記第２判定工程において複数の画像にそれぞれ含まれるバイクのナンバープレートが前記所定のバイクのナンバープレートであると判定された場合に、前記出力部が警告信号を出力する、請求項４記載のコンピュータ。

【請求項6】

コンピュータを、受付手段と、推定手段と、出力手段として機能させるプログラムであって、
前記受付手段は、カメラを含む端末から送信された、前記カメラにより撮像された対象物の画像を受け付け、
前記推定手段は、総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データを用いて機械学習により生成された、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを用いて、前記受付手段により受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定し、
前記出力手段は、前記推定手段により、画像に前記所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力し、
前記推定モデルは、文字認識ではなく、画像分類により推定するよう学習されたものである、プログラム。

【請求項7】

制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、カメラを含む端末から送信された、前記カメラにより撮像された対象物の画像を受け付ける工程と、
前記制御部が、総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データを用いて機械学習により生成された、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを用いて、受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定する工程と、
前記制御部が、画像に前記所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力する工程と、
を備え、
前記推定モデルは、文字認識ではなく、画像分類により推定するよう学習されたものである、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ、プログラムおよび情報処理方法に関する。

【背景技術】

【0002】

人物検知とナンバープレートの認識との少なくとも一方に基づいて、高速道路への侵入が禁止された対象物（例えば歩行者、自転車、小型バイク）や逆走する対象物等の誤進入を抑制するシステムとして、例えば特許文献１等に開示されるものが従来から知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０２１２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１等に開示される従来のシステムでは、高速道路への侵入が禁止されている総排気量が所定の値（具体的には、例えば１２５ｃｃ）以下である所定のバイク（具体的には、例えば原付バイク）を精度良く検出することができないという問題があった。

【0005】

本開示はこのような点を考慮してなされたものであり、総排気量が所定の値以下である所定のバイクを精度良く検出することができるコンピュータ、プログラムおよび情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示のコンピュータは、
カメラを含む端末から送信された、前記カメラにより撮像された対象物の画像を受け付ける受付部と、
総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データを用いて機械学習により生成された、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを用いて、前記受付部により受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定する推定部と、
前記推定部により、画像に前記所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力する出力部と、
を備えたことを特徴とする。

【0007】

本開示のコンピュータは、
前記所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む前記教師データを用い、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを機械学習により生成するモデル生成部を更に備え、
前記教師データにおいて、前記所定のバイクのナンバープレートを含む画像として、ナンバープレートの形状、ナンバープレートの色、ナンバープレートにおける各数字の大きさおよびナンバープレートにおけるひらがなまたはアルファベットの位置の少なくとも何れかに基づいて分類分けされたナンバープレートの画像が用いられてもよい。

【0008】

本開示のコンピュータでは、
前記教師データにおいて、前記所定のバイクのナンバープレートを含む画像の種類として、六角形であるナンバープレート、白色または深緑色ではないナンバープレート、各数字の大きさが均一ではないナンバープレート、ひらがなまたはアルファベットが数字の左の位置にあるナンバープレートのうちの少なくとも複数の種類のものに分類分けされたナンバープレートの画像が用いられてもよい。

【0009】

本開示のコンピュータでは、
前記推定部は、前記推定モデルを用いて、前記受付部により受け付けられた対象物の画像から前記受付部により受け付けられた対象物の画像にバイクのナンバープレートが含まれるか否かを判定する第１判定工程と、前記第１判定工程により対象物の画像にバイクのナンバープレートが含まれると判定された場合に、対象物の画像に含まれるバイクのナンバープレートが前記所定のバイクのナンバープレートであるか否かを判定する第２判定工程とを実行することにより、前記受付部により受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定してもよい。

【0010】

本開示のコンピュータでは、
前記推定部において、前記第１判定工程により対象物の画像にバイクのナンバープレートが含まれると判定されたときに、前記第２判定工程において同一の対象物を含む複数の画像にそれぞれ含まれるバイクのナンバープレートが前記所定のバイクのナンバープレートであるか否かを判定し、
前記第２判定工程において複数の画像にそれぞれ含まれるバイクのナンバープレートが前記所定のバイクのナンバープレートであると判定された場合に、前記出力部が警告信号を出力してもよい。

【0011】

本開示のプログラムは、
コンピュータを、受付手段と、推定手段と、出力手段として機能させるプログラムであって、
前記受付手段は、カメラを含む端末から送信された、前記カメラにより撮像された対象物の画像を受け付け、
前記推定手段は、総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データを用いて機械学習により生成された、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを用いて、前記受付手段により受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定し、
前記出力手段は、前記推定手段により、画像に前記所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力することを特徴とする。

【0012】

本開示の情報処理方法は、
制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、カメラを含む端末から送信された、前記カメラにより撮像された対象物の画像を受け付ける工程と、
前記制御部が、総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、前記所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に前記所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データを用いて機械学習により生成された、入力を対象物の画像、出力を画像に前記所定のバイクのナンバープレートが含まれるか否かとする推定モデルを用いて、受け付けられた対象物の画像から当該画像に前記所定のバイクのナンバープレートが含まれるか否かを推定する工程と、
前記制御部が、画像に前記所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力する工程と、
を備えたことを特徴とする。

【発明の効果】

【0013】

本開示のコンピュータ、プログラムおよび情報処理方法によれば、総排気量が所定の値以下である所定のバイクを精度良く検出することができる。

【図面の簡単な説明】

【0014】

【図1】本開示に係る侵入禁止バイク検知システムの概略図である。

【図2】図１に示すコンピュータと端末の構成を概略的に示す概略構成図である。

【図3】図１に示すコンピュータにおいて制御部がプログラムを実行することにより行われる情報処理の流れを示す図である。

【図4】本開示の一実施形態において分類されたバイクのナンバープレートおよびその特徴の例を示す図である。

【図5】本開示に係る情報処理方法による情報処理の流れを概略的に示すフローチャートである。

【図6】画像分類用学習モデルを生成するために細分化された原付ナンバープレートの種類、他のバイクのナンバープレート、その他の画像の例を示す図である。

【図7】本開示に係る情報処理方法による別の情報処理の流れを概略的に示すフローチャートである。

【発明を実施するための形態】

【0015】

従来から、高速道路のインターチェンジ（ＩＣ）において侵入禁止の排気量１２５ｃｃ以下のバイク（以下、原動機付自転車、原付ともいう）の進入時にアラートを通知して侵入を抑止したい要求があった。一日に何万台もの車両が高速道路のＩＣを通過するが、このような各車両を１００％に近い精度で素早く検知しなければならない。原付が検知されれば高速道路料金所の係員に通知されるが、誤検知が多いと料金所の運用に重大な支障が生じることとなる。人および自転車はＡＩで検知可能になったが、１２５ｃｃ以下のバイクの検知事例はなかった。この原因として、バイクの外観／形状からは排気量が１２５ｃｃ以下かどうかはディープラーニングを利用したＡＩでも正確に判定できないことが挙げられる。

【0016】

以上の課題に対し鋭意検討した結果、本発明者は総排気量１２５ｃｃ以下のバイクの判定のためにナンバープレートに着目した。四輪車や１２５ｃｃ以上のバイクのナンバープレートはフォーマットが定められているものの、原付のナンバープレートに関しては各自治体で決められており、多種多様な形状、サイズ、フォーマットが存在し、文字の並びも異なる。さらに、いわゆるご当地ナンバー等も非常に多い。そこで、本発明者は、入力を対象物の画像、出力を画像に原付のナンバープレートが含まれるか否かとする推定モデルを、所定の教師データを用いて機械学習により生成し、この推定モデル（学習済モデル）を用いて対象物の画像に原付のナンバープレートが含まれるか否かを推定することを想到し、本発明を完成した。

【0017】

以下、本発明の実施の形態について説明する。図１は、本開示に係る侵入禁止バイク検知システムの概略図である。図２は、図１に示すコンピュータと端末の構成を概略的に示す概略構成図である。図３は、図１に示すコンピュータにおいて制御部がプログラムを実行することにより行われる情報処理の流れを示す図である。

【0018】

［侵入禁止バイク検知システム１］
図１に、本開示に係る侵入禁止バイク検知システム１を示す。侵入禁止バイク検知システム１は、総排気量１２５ｃｃ以下のバイク（のナンバープレート）を検知するものであり、高速道路のＩＣや料金所の近くに設けることができる。図１、２に示すように、侵入禁止バイク検知システム１は、コンピュータ２と、カメラ１１を含む端末３とを有する。コンピュータ２と端末３は通信可能に接続している。カメラ１１によって撮影された画像１２０または動画１３０に総排気量が所定の値以下である所定のバイクが含まれるか否かが、後述のコンピュータ２により推定される。本明細書において、「バイク」とは、いわゆる二輪自動車、単車、オートバイ等をいい、様々なタイプのものが含まれる。総排気量が１２５ｃｃ以下のバイクであれば、原動機付自転車であり、第一種原付や第二種原付を含む。なお、「車両」には、バイクの他、ナンバープレートを取り付ける義務のある車両、例えば普通自動車、小型自動車、軽自動車、大型特殊自動車等が含まれる。

【0019】

＜コンピュータ２＞
本開示のコンピュータ２の構成について図２を用いて説明する。図２は、本開示のコンピュータ２の構成を概略的に示す概略構成図である。本実施形態のコンピュータ２は産業用コンピュータ、タブレット端末等から構成されており、図２に示すように、制御部２０と、記憶部３０と、通信部４０と、表示部５０と、操作部６０とを備えている。

【0020】

制御部２０は、ＣＰＵ（中央演算処理装置）やＧＰＵ（画像処理装置）、ＡＩ推論装置等で構成され、コンピュータ２の動作を制御する。具体的には、制御部２０は、後述する記憶部３０に記憶されているプログラムを実行することにより、モデル生成手段２２と、受付手段２４と、推定手段２６と、出力手段２８として機能する。これらの各手段については後述する。

【0021】

記憶部３０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成されている。また、記憶部３０はコンピュータ２に内蔵されるものに限定されることはなく、コンピュータ２に着脱自在に装着可能な記憶媒体（例えば、ＵＳＢメモリ）等であってもよい。本実施の形態では、記憶部３０は、制御部２０により実行されるプログラム、推定モデル１１０等をそれぞれ記憶するようになっている。

【0022】

通信部４０は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。通信部４０により制御部２０は端末３と信号の送受信を行う。

【0023】

表示部５０は例えばモニタ等であり、制御部２０から表示指令信号を受け取ることにより様々な画面を表示する。操作部６０は例えばキーボード等であり、制御部２０に対して様々な指令を与えることができるようになっている。なお、本実施の形態では、これらの表示部５０および操作部６０が一体化したタッチパネル等の表示操作部が用いられてもよい。

【0024】

（制御部２０の詳細）
（モデル生成手段２２）
モデル生成手段２２は、総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データ１００を用い、入力を対象物の画像、出力を画像に所定のバイクのナンバープレートが含まれるか否かとする推定モデル１１０を機械学習により生成する。このような機械学習としては、深層学習等の様々なものを用いることができる。

【0025】

教師データ１００のうち、「（総排気量が所定の値以下である）所定のバイクのナンバープレートを含む画像」としては、例えば、総排気量が１２５ｃｃ以下である原付のナンバープレートを含む画像が挙げられ、この例としては、図４（ａ）に示すようなナンバープレートを含む画像が挙げられる。なお、図４は、本発明者が１２５ｃｃ以下のバイク（原付）のナンバープレートを判定すべく、１２５ｃｃ超／１２５ｃｃ以下の自動二輪車の種別を全国ネット収集や撮影を通して検討した結果分類した、バイクのナンバープレートの形状、文字の配置の例を示す図である。

【0026】

さらに、図４に記載されているように、「所定のバイクのナンバープレートを含む画像」として、ナンバープレートの形状、ナンバープレートの色、ナンバープレートにおける各数字の大きさおよびナンバープレートにおけるひらがなまたはアルファベットの位置の少なくとも何れか（ナンバープレートの特徴）に基づいて分類分けされたナンバープレートの画像を用いることができる。より具体的には、「所定のバイクのナンバープレートを含む画像」の種類として、例えば、六角形であるナンバープレート、白色または深緑色ではないナンバープレート、各数字の大きさが均一ではないナンバープレート、ひらがなまたはアルファベットが数字の左の位置にあるナンバープレート、文字が紺色であるナンバープレート、背景が白／黄色／ピンク／水色であるナンバープレートのうちの少なくとも複数の種類のものに分類分けされたナンバープレートの画像を用いてもよい。

【0027】

教師データ１００のうち、「所定のバイク以外の車両のナンバープレートを含む画像」としては、上記の例で言えば、総排気量が１２５ｃｃ以下ではない総排気量が１２５ｃｃ超であるバイクのナンバープレートを含む画像や、自動車のナンバープレートを含む画像等が挙げられる。また、「ナンバープレートを含まない画像を含む画像」としては、自転車や人の画像や、ナンバープレートの形状に類似した物体の画像（例えば、図６（ｆ）参照）等が挙げられる。

【0028】

教師データ１００のうち、「画像に所定のバイクのナンバープレートが含まれるか否かという情報」とは、上記の例では、画像内の原付の有無をいう。

【0029】

（受付手段２４）
受付手段２４は、カメラを含む端末３から送信された、カメラにより撮像された対象物の画像１２０を受け付ける。また、受付手段２４は、カメラにより撮像された対象物の動画を受け付けてもよく、コンピュータ２の復号部（不図示）によりこの動画を画像１２０に変換させることもできる（ビデオデコード）。

【0030】

（推定手段２６）
推定手段２６は、所定のバイクのナンバープレートを含む画像、所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データ１００を用いて機械学習により生成された、入力を対象物の画像、出力を画像に所定のバイクのナンバープレートが含まれるか否かとする推定モデル１１０を用いて、受付手段２４により受け付けられた対象物の画像１２０から画像１２０に所定のバイクのナンバープレートが含まれるか否かを推定する。また、後述するように、推定手段２６は、推定モデル１１０を用いて、受付手段２４により受け付けられた対象物の画像１２０から受付手段２４により受け付けられた対象物の画像１２０にバイクのナンバープレートが含まれるか否かを判定する第１判定工程と、第１判定工程により対象物の画像１２０にバイクのナンバープレートが含まれると判定された場合に、対象物の画像１２０に含まれるバイクのナンバープレートが所定のバイクのナンバープレートであるか否かを判定する第２判定工程とを実行することにより、受付手段２４により受け付けられた対象物の画像１２０から画像１２０に所定のバイクのナンバープレートが含まれるか否かを推定してもよい。この際に、推定手段２６において、第１判定工程により対象物の画像１２０にバイクのナンバープレートが含まれると判定されたときに、第２判定工程において同一の対象物を含む複数の画像１２０にそれぞれ含まれるバイクのナンバープレートが所定のバイクのナンバープレートであるか否かを判定してもよい。なお、用いられる推定モデル１１０は、モデル生成手段２２で生成されたものに限られず、外部で生成された推定モデル１１０を用いてもよい。

【0031】

（出力手段２８）
出力手段２８は、推定手段２６により画像１２０に所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力する。出力手段２８から出力される、画像１２０に所定のバイクのナンバープレートが含まれているとの情報、すなわち、所定のバイクを検知したことを、表示部５０や高速道路料金所等の端末に表示されてもよい。また、警告信号の出力の仕方として、音を出力したり、光を点滅させたりしてもよく、音と光が同時に出力されてもよい。図１に示すように、侵入禁止バイク検知システム１の表示板に警告を表示させてもよい。

【0032】

図３に示すように、本実施の形態では、記憶部３０に記憶されているプログラムを制御部２０が実行してモデル生成手段２２として機能することによりモデル生成部２２ａが構成される。また、記憶部３０に記憶されているプログラムを制御部２０が実行して受付手段２４として機能することにより受付部２４ａが構成される。また、記憶部３０に記憶されているプログラムを制御部２０が実行して推定手段２６として機能することにより推定部２６ａが構成される。また、記憶部３０に記憶されているプログラムを制御部２０が実行して出力手段２８として機能することにより出力部３２ａが構成される。

【0033】

（端末３）
次に、端末３の構成について説明する。端末３は、例えば、高速道路のＩＣを通過する車両を監視するものであり、図２に示すように、カメラ１１と、通信部１２とを備えている。

【0034】

カメラ１１は、バイクを含む車両の動画を撮像する。端末３に含まれるカメラ１１には、車両などの対象物を撮像するオブジェクト検出用カメラおよびナンバープレート検知用カメラが含まれる。カメラ１１としては、公知のものを用いることができる。カメラ１１により撮像された車両の動画から各フレームの静止画像１２０が取得される。なお、夜間での撮影やナンバープレートに発生するハレーションを低減するために、カメラ１１として赤外線カメラも併用することが好ましい。

【0035】

通信部１２は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。カメラ１１により撮像された動画や静止画像１２０は通信部１２によりコンピュータ２に送信されるようになっている。

【0036】

［情報処理方法１］
次に、このようなコンピュータ２（侵入禁止バイク検知システム１）による情報処理方法について図５を用いて説明する。なお、以下に示す処理は記憶部３０に記憶されているプログラムを制御部２０が実行することにより行われる。

【0037】

まず、制御部２０が、所定のバイクのナンバープレートを含む画像、所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データ１００を用い、入力を対象物の画像、出力を画像に所定のバイクのナンバープレートが含まれるか否かとする推定モデル１１０を機械学習により生成する（図５、ステップＳ１０）。

【0038】

次に、制御部２０が、カメラ１１を含む端末３から送信された、カメラ１１により撮像された対象物の画像１２０を受け付ける（図５、ステップＳ２０）。

【0039】

次に、制御部２０が、ステップＳ１０で生成した推定モデル１１０を用いて、ステップＳ２０で受け付けた画像１２０に所定のバイクのナンバープレートが含まれるか否かを推定する（図５、ステップＳ３０）。

【0040】

次に、制御部２０によって、画像１２０に所定のバイクのナンバープレートが含まれると推定された場合に（図５、ステップＳ４０で「ＹＥＳ」）、警告信号を出力する（図５、ステップＳ５０）。

【0041】

他方、制御部２０によって、画像１２０に所定のバイクのナンバープレートが含まれないと推定された場合に（図５、ステップＳ４０で「ＮＯ」）、警告信号が出力されることなく、処理はステップＳ２０に戻る。

【0042】

［情報処理方法２］
論理的には、撮影されたナンバープレートの文字を読み込み、上記のようなナンバープレートの種類に基づいて所定のバイクか否かの判定は可能である。しかしながら、一般にバイクのナンバープレートは小さいため、ＡＩによる識別が難しい。ＩＣではバイクは速く移動するため、ナンバープレートの読み取りに対して被写体ブレが生じやすい。走っているバイクの被写体ブレや夜間のテールランプのハレーション等によって、文字が不鮮明となることがあるため、ディープラーニングの物体検出では小さい物体の判別は困難を伴う。特に、ナンバープレートのひらがな部分は小さく読み込みを正確に行うことが困難である。従って、上記のようなルールベースの判定は困難を伴うこともあり得る。

【0043】

そこで、ナンバープレートを総合的に判断する方法として、文字ではなく深層学習による画像分類による方法を採用することにした。しかしながら、単純な２クラス分類では、ニューラルネットワークがどの特徴を学習するか制御するのが難しく、「１２３４」などの数字の並びが教師データ１００として含まれていると、総排気量１２６以上のバイクのナンバープレートに「１２３４」が含まれている場合に原付ナンバープレートであると誤検知（過学習）される懸念もある。

【0044】

そこで、本発明者は、共通の特徴をそれぞれ有するサブクラスにナンバープレートの分類を細分化することにより細かい特徴量を抽出して、原付バイクをより精度よく検出できることを見出した。以下、このような本開示に係る情報処理方法２を説明する。

【0045】

具体的には、例えば、六角形のナンバープレート（図６（ａ））、左側の数字が小さく右側の数字が大きいナンバープレート（図６（ｂ））、これら以外のナンバープレート（図６（ｃ））というサブクラスを設定し、これらのナンバープレートをそれぞれ含む画像を教師データ１００として用いて、入力を対象物の画像、出力を画像に原付バイクのナンバープレートが含まれるか否かとする推定モデル１１０を機械学習により生成することができる。また、図６（ａ）～図６（ｃ）のようなプレートに関連して、被写体ブレが発生した画像、不鮮明画像、様々な角度から撮影された画像を追加学習させてもよい。上記に加えて、図６（ｄ）～図６（ｆ）のような、原付ナンバープレート以外の画像を追加学習させることで誤検知を軽減させることができる。

【0046】

その他にも、図４に示すような１２５ｃｃ以下のバイクと１２５ｃｃ超のバイクの特徴を有するナンバープレートを追加学習させてもよい。例えば、原付ナンバープレートを含む画像の種類として、六角形であるナンバープレート、白色または深緑色ではないナンバープレート、各数字の大きさが均一ではないナンバープレート、ひらがなまたはアルファベットが数字の左の位置にあるナンバープレート、文字が紺色であるナンバープレート、背景が白／黄色／ピンク／水色であるナンバープレートのうちの少なくとも複数の種類のものに分類分けされたナンバープレートの画像を用いてもよい。

【0047】

以上のように、情報処理方法２によれば、例えば、原付ナンバープレートには左にひらがながあり（図４（a）、図６（ｃ））、１２５ｃｃ超のバイクのナンバープレートには右上にひらがながある（図４（ｂ）、図６（ｄ））ことなどを学習させることが可能となる。また、数字の並びよりも六角形の特徴が重要であることや、文字の並びにおいて左が小さく右が大きいという特徴も優先度が高いことを学習させることができる。

【0048】

［情報処理方法３］
本開示に係る情報処理方法において、誤検出や誤判定を抑制するために、２段階の推論を行うこともできる。以下、この情報処理方法３を説明する。図７に、情報処理方法３の処理フローを示す。

【0049】

まず、端末３により送信された動画１３０から複数の画像１２０を取得する（ビデオデコード。図７、ステップＳ１）。

【0050】

次に、これらの画像１２０に対し、物体検出（１次推論、第１判定）を行い、車、バイクの車体、これら車体中のナンバープレートを判定する（図７、ステップＳ２）。ここでは、制御部２０（推定部２６ａ）は、推定モデル１１０を用いて、受付部２４ａにより受け付けられた対象物の画像１２０から、受付部２４ａにより受け付けられた対象物の画像１２０にバイクのナンバープレートが含まれるか否かを判定する（第１判定工程）。こうして、車（のナンバープレート）は除外して、バイクのナンバープレートのみを抽出し、以下のステップでバイクのナンバープレートだけを判定の対象にする。また、ナンバープレート以外（例えば、図６（ｆ）等）を誤検出した場合に所定のバイク（例えば、原付）と誤判定されることを抑制することができる。なお、推定モデル１１０は情報処理方法１または２で生成されたものでよい。物体検出ＡＩとして、ＹＯＬＯ、ＳＳＤなどを用いることができる。

【0051】

次に、ステップＳ２でバイクのものと判定された、同一のナンバープレートを複数の画像１２０を用いて追跡する（トラッキング。図７、ステップＳ３）。上述したように、バイクはＩＣなどで速く動くので、ナンバープレートが不鮮明になることによる誤検知、誤判定を抑制するためである。このトラッキングにより、複数の画像から同一のバイクであるか否かを判定する。

【0052】

次に、画像分類（２次推論、第２判定）を行い、所定のバイクのナンバープレートか否かを判定する（図７、ステップＳ４）。ここで、制御部２０（推定部２６ａ）は、上述の第１判定工程により対象物の画像１２０にバイクのナンバープレートが含まれると判定された場合に、対象物（バイク）の画像１２０に含まれるナンバープレートが所定のナンバープレートであるか否かを判定する（第２判定工程）。

【0053】

誤検知抑制のため、この画像分類は複数回行われてよい。例えば、２０ｆｐｓ程度のカメラで毎フレーム推論を行うと、結果がブレる場合があるためである。すなわち、この第２判定工程において同一の対象物を含む複数の画像１２０にそれぞれ含まれるバイクのナンバープレートが所定のバイクのナンバープレートであるか否かを判定してもよい。１秒間に１０枚の画像が撮影される場合、連続した５フレームにおいて少なくとも３回所定のナンバープレートがあると判定されれば、画像１２０に所定のバイク（のナンバープレート）があると判断してよい。ステップＳ４で１２５ｃｃ以下の判定が数フレームであった場合にアラート発動させるために、誤検知フィルターを導入してもよい。

【0054】

ステップＳ４において画像１２０に所定のバイクのナンバープレートがあると判断されると、高速道路侵入禁止を警告するアラートが発せられる（図７、ステップＳ５）。

【0055】

以上のような構成からなる本実施の形態のコンピュータ２、プログラムおよび情報処理方法によれば、カメラ１１を含む端末３から送信された、カメラ１１により撮像された対象物の画像１２０を受け付ける受付部２４ａと、総排気量が所定の値以下である所定のバイクのナンバープレートを含む画像、所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データ１００を用いて機械学習により生成された、入力を対象物の画像、出力を画像に所定のバイクのナンバープレートが含まれるか否かとする推定モデル１１０を用いて、受付部２４ａにより受け付けられた対象物の画像１２０から画像１２０に所定のバイクのナンバープレートが含まれるか否かを推定する推定部２６ａと、推定部２６ａにより、画像１２０に所定のバイクのナンバープレートが含まれると推定された場合に、警告信号を出力する出力部２８ａと、が設けられている。

【0056】

本開示のコンピュータ２、プログラムおよび情報処理方法によれば、総排気量が所定の値以下である所定のバイクを精度良く検出することができる。検知したい所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を導入することで、誤検知を軽減させることができる。

【0057】

また、本実施の形態のコンピュータ２、プログラムおよび情報処理方法において、所定のバイクのナンバープレートを含む画像、所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像を含む画像と、画像に所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データ１００を用い、入力を対象物の画像、出力を画像に所定のバイクのナンバープレートが含まれるか否かとする推定モデル１１０を機械学習により生成するモデル生成部2２aを更に設けることができる。ここで、教師データ１００において、所定のバイクのナンバープレートを含む画像として、ナンバープレートの形状、ナンバープレートの色、ナンバープレートにおける各数字の大きさおよびナンバープレートにおけるひらがなまたはアルファベットの位置の少なくとも何れかに基づいて分類分けされたナンバープレートの画像が用いられてもよい。このように、所定のバイクナンバープレートの特徴に基づいて、すなわち、ナンバープレートの形状、色、数字の大きさ、ひらがなまたはアルファベットの位置に基づいて画像分類を行うことにより、画像１２０に所定のバイクのナンバープレートが含まれるか否かをより高精度に推定することができる。

【0058】

また、本実施の形態のコンピュータ２、プログラムおよび情報処理方法においては、教師データ１００において、所定のバイクのナンバープレートを含む画像の種類として、六角形であるナンバープレート、白色または深緑色ではないナンバープレート、各数字の大きさが均一ではないナンバープレート、ひらがなまたはアルファベットが数字の左の位置にあるナンバープレートのうちの少なくとも複数の種類のものに分類分けされたナンバープレートの画像が用いられてもよい。このように、所定のバイクが原付である場合、総排気量が１２５ｃｃ以下のバイクのナンバープレートには左にひらがながあり、１２５ｃｃ超のバイクのナンバープレートには右上にひらがなあるなど、上記した大きな特徴以外を学習させることが可能となる。また、数字の並びよりも六角形の特徴が重要であることや、文字の並びにおいて左が小さく右が大きいという特徴も優先度が高いことを学習させることもできる。

【0059】

また、本実施の形態のコンピュータ２、プログラムおよび情報処理方法においては、推定部２６ａは、推定モデル１１０を用いて、受付部２４ａにより受け付けられた対象物の画像１２０から受付部２４ａにより受け付けられた対象物の画像１２０にバイクのナンバープレートが含まれるか否かを判定する第１判定工程と、第１判定工程により対象物の画像１２０にバイクのナンバープレートが含まれると判定された場合に、対象物の画像１２０に含まれるバイクのナンバープレートが所定のバイクのナンバープレートであるか否かを判定する第２判定工程とを実行することにより、受付部２４ａにより受け付けられた対象物の画像１２０から画像１２０に所定のバイクのナンバープレートが含まれるか否かを推定してもよい。このように、２段階の推論を行うことにより、誤検出や誤判定をさらに抑制することができる。

【0060】

また、本実施の形態のコンピュータ２、プログラムおよび情報処理方法においては、推定部２６ａにおいて、第１判定工程により対象物の画像１２０にバイクのナンバープレートが含まれると判定されたときに、第２判定工程において同一の対象物を含む複数の画像１２０にそれぞれ含まれるバイクのナンバープレートが所定のバイクのナンバープレートであるか否かを判定し、第２判定工程において複数の画像１２０にそれぞれ含まれるバイクのナンバープレートが所定のバイクのナンバープレートであると判定された場合に、出力部３２ａが警告信号を出力してもよい。こうして、検知精度を向上させることができる。

【0061】

なお、本開示によるコンピュータ２、プログラムおよび情報処理方法は、上述したような態様や組み合わせに限定されることはなく、様々な変更を加えることができる。

【0062】

例えば、推定モデル１１０を生成するための教師データ１００の画像として、所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像が用いられる例を説明したが、必要最小限の画像として図４（ａ）に示すような所定のバイクのナンバープレートを含む画像のみを用いて推定モデルを生成することもできる。

【0063】

また、受付部２４ａにより受け付けられた対象物の画像１２０において、ナンバープレートがあるか否かを判定する領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｎ Ｉｎｔｅｒｅｓｔ）を設定することもできる。この場合、端末３を設ける各拠点のカメラアングルに合わせて、ＲＯＩを画像１２０上に設定できる。この領域にある物体やナンバープレートを判定に用いることにより、カメラ１１の画面からフェードアウトする車をバイクと誤認識してしまうことや、バイクが遠くフェードアウトするときにナンバープレートが小さくなり１２５ｃｃ以下の原付と誤判定してしまうことを抑制することができる。この結果、所定のバイクを判定する精度が改善される。

【0064】

更に、上記では、総排気量１２５ｃｃ以下のバイク（原付）のナンバープレートを検出することを目的とする例を説明したが、ナンバープレートを有するキックボード等を検出するために本開示のコンピュータ２、プログラムおよび情報処理方法を適用することも可能である。

【符号の説明】

【0065】

１ 侵入禁止バイク検知システム
２ コンピュータ
３ 端末
１１ カメラ
１２ 通信部
２０ 制御部
２２ モデル生成手段
２４ 受付手段
２６ 推定手段
２８ 出力手段
２２ａ モデル生成部
２４ａ 受付部
２６ａ 推定部
２８ａ 出力部
３０ 記憶部
４０ 通信部
５０ 表示部
６０ 操作部
１００ 教師データ
１１０ 推定モデル
１２０ 静止画像
１３０ 動画

【要約】

【課題】総排気量が所定の値以下である所定のバイクを精度良く検出することができるコンピュータ、プログラムおよび情報処理方法を提供する。
【解決手段】対象物の画像１２０を受け付ける受付部２４ａと、所定のバイクのナンバープレートを含む画像、所定のバイク以外の車両のナンバープレートを含む画像およびナンバープレートを含まない画像と、画像に所定のバイクのナンバープレートが含まれるか否かという情報とを含む教師データ１００を用いて機械学習により生成された、入力を対象物の画像、出力を画像に所定のバイクのナンバープレートが含まれるか否かとする推定モデル１１０を用いて、画像１２０に所定のバイクのナンバープレートが含まれるかを推定する推定部２６ａと、画像１２０に所定のバイクのナンバープレートが含まれると推定された場合に警告信号を出力する出力部２８ａとが設けられている。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】