特許 7439519 処理装置、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】処理装置、処理方法及びプログラム

(51)【国際特許分類】

   G01M 17/007 20060101AFI20240220BHJP

【ＦＩ】

G01M17/007 H

【請求項の数】 13

(21)【出願番号】P 2020002640

(22)【出願日】2020-01-10

(65)【公開番号】P2021110633

(43)【公開日】2021-08-02

【審査請求日】2022-12-07

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】藤谷 哉

(72)【発明者】

【氏名】丹羽 真二

【審査官】森口 正治

(56)【参考文献】

【文献】特開２０１６－０５３５３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１１６７９２（ＵＳ，Ａ１）

【文献】特開２０１８－１７９９５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｍ １７／００－１７／１０

(57)【特許請求の範囲】

【請求項1】

画像を取得する取得手段と、
前記画像の中から車両識別情報表示物を検出する検出手段と、
前記車両識別情報表示物が示す車両識別情報を認識する認識手段と、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別する判別手段と、
判別された前記車種に対応した処理エンジンを選択する選択手段と、
選択された前記処理エンジンに基づき、前記画像を処理する処理手段と、
を有し、
前記車種毎に、検査員が行う検査項目が定められており、
前記処理手段は、
前記処理エンジンで前記画像を処理して、検査員が現在行っている検査項目を認識する処理装置。

【請求項2】

前記処理手段は、前記処理エンジンに基づき前記画像を処理して検査員に提供する情報を決定し、決定した前記情報を検査員の端末に送信する請求項１に記載の処理装置。

【請求項3】

前記処理手段は、前記処理エンジンに基づき前記画像を処理して前記車両の検査を行い、検査結果を記憶手段に記憶させる請求項１又は２に記載の処理装置。

【請求項4】

装着装置を利用する検査員を認証する認証手段をさらに有し、
前記処理手段は、認証した前記検査員の識別情報に紐づけて、前記検査結果を前記記憶手段に記憶させる請求項３に記載の処理装置。

【請求項5】

前記処理手段は、前記画像の中から前記車両識別情報表示物が検出されたことに応じて、選択された前記処理エンジンに基づく前記画像の処理を開始する請求項１から４のいずれか１項に記載の処理装置。

【請求項6】

前記処理手段は、前記画像に基づき所定の処理終了イベントが検出されたことに応じて、選択された前記処理エンジンに基づく前記画像の処理を終了する請求項１から５のいずれか１項に記載の処理装置。

【請求項7】

前記処理終了イベントは、検査員が記入する記入対象物への署名の検出である請求項６に記載の処理装置。

【請求項8】

前記処理手段は、
前記画像の中から前記車両識別情報表示物が検出されたことに応じて、前記取得手段により取得された前記画像の記録を開始し、
前記画像に基づき所定の処理終了イベントが検出されたことに応じて、前記記録を終了する請求項１から７のいずれか１項に記載の処理装置。

【請求項9】

前記取得手段は、検査員が装着した装着装置に付されたカメラが生成した画像を取得する請求項１から８のいずれか１項に記載の処理装置。

【請求項10】

前記車種毎に、検査項目及び検査順が定められており、
前記処理手段は、
現在行っている検査項目の認識結果に基づき次に行う検査項目を認識し、
次に行う検査項目を示す情報を検査員の端末に送信する請求項１から９のいずれか１項に記載の処理装置。

【請求項11】

前記処理手段は、
次に行う検査項目に関するアドバイス情報を検査員の端末に送信する請求項１０に記載の処理装置。

【請求項12】

コンピュータが、
画像を取得し、
前記画像の中から車両識別情報表示物を検出し、
前記車両識別情報表示物が示す車両識別情報を認識し、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別し、
前記車種毎に、検査員が行う検査項目が定められており、
前記コンピュータが、
判別された前記車種に対応した処理エンジンを選択し、
選択された前記処理エンジンに基づき前記画像を処理して、検査員が現在行っている検査項目を認識する処理方法。

【請求項13】

コンピュータを、
画像を取得する取得手段、
前記画像の中から車両識別情報表示物を検出する検出手段、
前記車両識別情報表示物が示す車両識別情報を認識する認識手段、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別する判別手段、
判別された前記車種に対応した処理エンジンを選択する選択手段、
選択された前記処理エンジンに基づき、前記画像を処理する処理手段、
として機能させ、
前記車種毎に、検査員が行う検査項目が定められており、
前記処理手段は、
前記処理エンジンで前記画像を処理して、検査員が現在行っている検査項目を認識するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、検査等の支援を行うシステムを開示している。検査員は、ヘッドマウントディスプレイ、ヘッドマウントカメラ、ヘッドフォン、マイク等を有する装置を装着する。この装置は、現在の状況や手元資料などをサーバに送信する。また、この装置は、検査項目の指示等をサーバから受信し、表示する。

【0003】

特許文献２は、車両を撮影した画像に基づき車両識別情報を認識する技術を開示している。

【0004】

特許文献３は、虹彩情報を用いて認証処理を行うメガネ型ウェアラブラルデバイスを開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００２－２８７８１５号公報

【文献】特開２０１８－９２６２９号公報

【文献】国際公開第２０１６／０８００３１号

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示の技術を車両の検査に適用すれば、検査効率の向上や、検査ミスの抑制等が実現される。しかし、検査項目や各検査時に行う処理内容等は車種ごとに異なり得る。これを考慮しなければ、検査中の車両の車種に関わらず同じ処理を行い、同じ情報を検査員に提供する使い勝手の悪いシステムとなってしまう。例えば、検査項目Ａを含まない車種の車両を検査している検査員に対して、検査項目Ａの指示をしてしまう等の不都合が発生し得る。特許文献１乃至３はいずれも、当該課題及びその解決手段を記載も示唆もしていない。

【0007】

本発明は、検査中の車両の車種に応じた適切な処理を実行する処理装置を提供することを課題とする。

【課題を解決するための手段】

【0008】

本発明によれば、
画像を取得する取得手段と、
前記画像の中から車両識別情報表示物を検出する検出手段と、
前記車両識別情報表示物が示す車両識別情報を認識する認識手段と、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別する判別手段と、
判別された前記車種に対応した処理エンジンを選択する選択手段と、
選択された前記処理エンジンに基づき、前記画像を処理する処理手段と、
を有する処理装置が提供される。

【0009】

また、本発明によれば、
コンピュータが、
画像を取得し、
前記画像の中から車両識別情報表示物を検出し、
前記車両識別情報表示物が示す車両識別情報を認識し、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別し、
判別された前記車種に対応した処理エンジンを選択し、
選択された前記処理エンジンに基づき、前記画像を処理する処理方法が提供される。

【0010】

また、本発明によれば、
コンピュータを、
画像を取得する取得手段、
前記画像の中から車両識別情報表示物を検出する検出手段、
前記車両識別情報表示物が示す車両識別情報を認識する認識手段、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別する判別手段、
判別された前記車種に対応した処理エンジンを選択する選択手段、
選択された前記処理エンジンに基づき、前記画像を処理する処理手段、
として機能させるプログラムが提供される。

【発明の効果】

【0011】

本発明によれば、検査中の車両の車種に応じた適切な処理を実行する処理装置が実現される。

【図面の簡単な説明】

【0012】

【図1】本実施形態の検査支援システムの機能ブロック図の一例である。

【図2】本実施形態の装置のハードウエア構成の一例を示す図である。

【図3】本実施形態の処理装置、中継装置及び装着装置の機能ブロック図の一例である。

【図4】本実施形態の装着装置の一例を示す図である。

【図5】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図6】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図7】本実施形態の装着装置が生成する画像の一例を模式的に示す図である。

【図8】本実施形態の検査支援システムの処理の流れの一例を示すシーケンス図である。

【図9】本実施形態の検査支援ステムの変形例を説明するための図である。

【図10】本実施形態の処理装置、中継装置及び装着装置の機能ブロック図の一例である。

【図11】本実施形態の検査支援システムの処理の流れの一例を示すシーケンス図である。

【図12】本実施形態の処理装置、中継装置及び装着装置の機能ブロック図の一例である。

【図13】本実施形態の検査支援システムの処理の流れの一例を示すシーケンス図である。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
本実施形態の検査支援システムは、検査員による車両の検査を支援するシステムである。支援対象の検査は、販売前の新品の車両に対する検査であってもよいし、販売後に定期的に行われる検査であってもよい。

【0014】

まず、図１を用いて本実施形態の検査支援システムの全体像及び概要を説明する。検査支援システムは、処理装置１０と、中継装置２０と、装着装置３０とを有する。処理装置１０と中継装置２０とは、インターネット等の通信ネットワーク４０を介して互いに通信可能に構成される。中継装置２０と装着装置３０とは、無線ＬＡＮ、Bluetooth（登録商標）等の近距離無線通信で互いに通信可能に構成される。

【0015】

装着装置３０は、検査員が装着する装置である。装着装置３０は、カメラ、マイク、認証情報等の入力を受付ける入力装置、ディスプレイ等を有する。装着装置３０は、カメラ及びマイクが生成したデータや、入力装置が入力を受付けたデータを、中継装置２０に送信する。また、装着装置３０は、中継装置２０から各種データを受信し、ディスプレイに表示する。

【0016】

中継装置２０は、例えば車両の検査を行う敷地内に設置される。中継装置２０は、近距離無線通信で装着装置３０からデータを受信し、装着装置３０から受信したデータをインターネット等の通信ネットワーク４０を介して処理装置１０に送信する。そして、中継装置２０は、インターネット等の通信ネットワーク４０を介して処理装置１０からデータを受信し、近距離無線通信でそのデータを装着装置３０に送信する。中継装置２０は、複数の装着装置３０と通信可能になっていてもよい。

【0017】

処理装置１０は、サーバであり、任意の位置に設置される。処理装置１０は、クラウトサーバであってもよい。処理装置１０は、中継装置２０から受信した認証情報に基づき認証処理を行う。また、処理装置１０は、中継装置２０から受信したカメラ及びマイクが生成したデータを解析することで、検査の支援を行う。例えば、処理装置１０は、上記解析により現在の検査の状況などを認識し、検査員に提供する情報（アドバイス等）を決定する。そして処理装置１０は、中継装置２０を介して、決定した情報を装着装置３０に送信する。また、処理装置１０は、カメラ及びマイクが生成したデータを解析し、車両の検査を行う。そして、処理装置１０は、その検査結果を、補助的検査結果として記憶部に蓄積する。

【0018】

なお、処理装置１０は、上述のような解析を行うための処理エンジンを、車種ごとに有する。そして、処理装置１０は、カメラが生成したデータに基づき検査対象の車両の車種を判別し、判別した車種に対応した処理エンジンで画像を処理して、上述のような各種検査の支援を行う。

【0019】

このような検査支援システムによれば、検査中の車両の車種に応じた適切な処理を実行し、適切な支援を行うことが可能となる。

【0020】

以下、検査支援システムの構成を詳細に説明する。

【0021】

まず、各装置のハードウエア構成の一例を説明する。本実施形態の処理装置１０、中継装置２０及び装着装置３０各々が備える機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0022】

図２は、本実施形態の処理装置１０、中継装置２０及び装着装置３０各々のハードウエア構成を例示するブロック図である。図１に示すように、各装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａは有さなくてもよい。なお、各装置は物理的及び／又は論理的に一体となった１つの装置で構成されてもよいし、物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0023】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ、センサ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0024】

次に、各装置の機能構成を説明する。

【0025】

「装着装置３０」
まず、装着装置３０の機能構成を説明する。図３の機能ブロック図に示すように、装着装置３０は、認証処理部３１と、データ収集部３２と、通信部３３とを有する。

【0026】

通信部３３は、近距離無線通信で中継装置２０と通信する。通信規格は特段制限されず、あらゆる技術を採用できる。

【0027】

認証処理部３１は、装着装置３０を装着した人物が正当な検査員であることを認証するための処理を行う。

【0028】

具体的には、認証処理部３１は、認証情報の入力を受付ける。認証情報は、生体情報であってもよい。例えば、認証処理部３１は、装着装置３０が備えるカメラを介して顔情報（顔画像やその特徴量等）の入力を受付けてもよいし、装着装置３０が備えるカメラを介して虹彩情報（虹彩画像やその特徴量等）の入力を受付けてもよいし、装着装置３０が備える指紋センサを介して指紋情報（指紋データやその特徴量等）の入力を受付けてもよいし、イヤフォンを介して耳情報（耳穴の形状を表す音響特性）の入力を受付けてもよいし、その他の生体情報の入力を受付けてもよい。また、認証情報は、ユーザＩＤとパスワード等の生体情報以外の情報であってもよい。認証処理部３１は、任意の入力装置を介して、このような生体情報以外の認証情報の入力を受付けてもよい。しかし、正当な検査員でないもののなりすましを効果的に排除する観点から、生体情報を認証情報とするのが好ましい。

【0029】

認証情報の入力を受付けた後、認証処理部３１は、受付けた認証情報を中継装置２０に送信し、その後、中継装置２０から認証結果を受信する。そして、認証結果が成功である場合、装着装置３０は、検査支援機能を利用可能な状態となる。例えば、装着装置３０は、認証成功に応じて、検査を開始する入力を受付けることができる状態になってもよい。この入力に応じて、装着装置３０は、検査支援機能（カメラやマイクによるデータの収集、中継装置２０への送信など）を開始する。一方、認証結果が失敗である場合、装着装置３０はエラー処理を行う。例えば、装着装置３０は、ディスプレイ、スピーカ、警告ランプ等の出力装置を介して、認証に失敗した旨を示す情報を出力する。

【0030】

なお、上述の通り、装着装置３０は、検査員が装着する装置であるが、その形態は特段制限されない。例えば、図４に示すようなメガネ型の装置が例示される。図示する装着装置３０は、カメラ、マイク、ライト、ディスプレイ（ＡＲ画像表示部）、イヤフォン／スピーカ、本体部、その他構成要素を有する。カメラは、装着装置３０を装着した検査員の視線方向を撮影する位置及び向きで設置されている。ディスプレイは、眼鏡のグラス部分に設けられており、ＡＲ画像等を表示できる。本体部は、有線及び／又は無線で、充電器や入力ユニット等のその他構成要素と通信可能になっている。当該装着装置３０は、入力ユニットを介した入力や、カメラの前でのジェスチャー入力や、マイクを介した音声入力等の入力を受け付けることができる。

【0031】

なお、その他、装着装置３０は、ヘルメット型の装置であってもよいし、ヘッドバンド型の装置であってもよいし、リストバンド型の装置であってもよいし、腕時計型の装置であってもよい。しかし、装着装置３０を装着した検査員の視線方向が撮影可能となる観点から、装着装置３０は頭部や顔に装着するものであることが好ましい。

【0032】

図３に戻り、データ収集部３２は、装着装置３０を装着した検査員の周辺の状況を示すデータを収集する。

【0033】

例えば、データ収集部３２は、装着装置３０が備えるカメラを介して、検査員の周辺を撮影したデータを収集してもよい。カメラは、装着装置３０を装着した検査員の視線方向を撮影するように装着装置３０に設置されているのが好ましい。カメラは動画像を撮影してもよいし、検査員から所定の入力があったタイミングで静止画像を撮影してもよい。

【0034】

また、データ収集部３２は、装着装置３０が備えるマイクを介して、検査員の周辺の音声データを収集してもよい。

【0035】

データ収集部３２は、認証処理部３１による認証に成功したことに応じてデータ収集を開始してもよいし、認証処理部３１による認証に成功した後、検査を開始する入力がなされたことに応じてデータ収集を開始してもよいし、その他のタイミングでデータ収集を開始してもよい。データ収集部３２が収集したデータ（画像データ、音声データ等）は、通信部３３を介して中継装置２０に送信される。

【0036】

「中継装置２０」
次に、中継装置２０の機能構成を説明する。図３の機能ブロック図に示すように、中継装置２０は、第１の通信部２１と、中継部２２と、第２の通信部２３とを有する。

【0037】

第１の通信部２１は、近距離無線通信で装着装置３０と通信する。通信規格は特段制限されず、あらゆる技術を採用できる。

【0038】

第２の通信部２３は、ＷＡＮ（wide area network）、ＬＡＮ（local area network）等の通信ネットワーク４０を介して処理装置１０と通信する。

【0039】

中継部２２は、処理装置１０と装着装置３０との間のデータの送受信の中継を行う。すなわち、中継部２２は、装着装置３０から受信したデータを処理装置１０に送信する。また、中継部２２は、処理装置１０から受信したデータを装着装置３０に送信する。装着装置３０から受信するデータは、認証情報、画像、音声データ等が例示される。処理装置１０から受信するデータは、認証結果、検査支援に関する情報等が例示される。

【0040】

「処理装置１０」
次に、処理装置１０の機能構成を説明する。図３の機能ブロック図に示すように、処理装置１０は、通信部１１と、取得部１２と、検出部１３と、認識部１４と、判別部１５と、選択部１６と、処理部１７と、認証部１８と、記憶部１９とを有する。なお、処理装置１０は、記憶部１９を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１９を備える。

【0041】

通信部１１は、ＷＡＮ、ＬＡＮ等の通信ネットワーク４０を介して中継装置２０と通信する。

【0042】

認証部１８は、中継装置２０から送信されてきた認証情報を、通信部１１を介して取得する。そして、認証部１８は、取得した認証情報に基づき、認証処理を行う。そして、認証部１８は、認証結果（認証成功／認証失敗）を、通信部１１を介して中継装置２０に送信する。

【0043】

ここで、認証処理の一例を説明する。例えば、予め記憶部１９に、正当な資格を有する正当な検査員の認証情報が登録されていてもよい。そして、認証部１８は、記憶部１９に記憶されている正当な検査員の認証情報と、装着装置３０から送信された認証情報との照合により、認証処理を行ってもよい。この場合、装着装置３０から送信された認証情報とマッチングする認証情報が記憶部１９に記憶されている場合、認証成功となり、記憶されていない場合、認証失敗となる。

【0044】

その他、正当な資格を有する正当な検査員の認証情報に加えて、各タイミングで各装着装置３０をどの検査員が利用するかを定めた利用スケジュールが予め記憶部１９に記憶されていてもよい。そして、認証部１８は、認証タイミングにおける各装着装置３０の利用予定者を当該利用スケジュールに基づき特定し、記憶部１９に記憶されている特定した利用予定者の認証情報と、装着装置３０から送信された認証情報との照合により、認証処理を行ってもよい。この場合、記憶部１９に記憶されている特定した利用予定者の認証情報と、装着装置３０から送信された認証情報とがマッチングした場合、認証成功となり、マッチングしなかった場合、認証失敗となる。

【0045】

取得部１２は、中継装置２０から送信されてきた画像や音声データを取得する。当該画像や音声データは、装着装置３０のデータ収集部３２が収集したデータである。

【0046】

検出部１３は、取得部１２が取得した画像を解析し、画像の中から検査対象の車両に付された車両識別情報表示物を検出する。車両識別情報表示物は、車両識別情報を表示する物体であり、任意の手段で各車両に付されている。車両識別情報は、車両登録番号（車両ナンバー）や、車両識別番号（ＶＩＮ：vehicle identification number）等が例示される。車両識別情報表示物は、車両の前方及び後方に取り付けられているナンバープレートであってもよいし、車両識別情報が印字、手書き等された媒体（紙媒体等）であってもよい。予め、車両識別情報表示物の外観の特徴量が記憶部１９に記憶されている。検出部１３は、画像内から車両識別情報表示物の外観の特徴量を検出することで、画像の中から車両識別情報表示物を検出することができる。

【0047】

認識部１４は、車両識別情報表示物が示す車両識別情報を認識する。例えば、認識部１４は、ＯＣＲ（optical character recognition/reader）等の文字認識技術に基づき、画像内で検出された車両識別情報表示物が示す車両識別情報を認識する。

【0048】

判別部１５は、認識された車両識別情報に基づき、上記車両識別情報表示物を付された検査対象の車両の車種を判別する。例えば、図５に示すように、車両識別情報と車両の車種との対応関係を示す情報が、予め記憶部１９に記憶されていてもよい。そして、判別部１５は、認識された車両識別情報と、記憶部１９に記憶されている図５に示すような情報とに基づき、検査対象の車両の車種を判別してもよい。

【0049】

選択部１６は、判別された車種に対応した処理エンジンを選択する。処理エンジンは、装着装置３０が収集したデータ（画像や音声データ）を処理し、検査支援を行うための処理エンジンであり、車種毎に用意されている。例えば、図６に示すように、処理エンジンと車両の車種との対応関係を示す情報が、予め記憶部１９に記憶されていてもよい。そして、選択部１６は、判別された車両の車種と、記憶部１９に記憶されている図６に示すような情報とに基づき、検査対象の車両に適した処理エンジンを選択してもよい。

【0050】

処理部１７は、装着装置３０が収集した画像や音声データを処理する。処理部１７は、選択された処理エンジンに基づき画像や音声データを処理することができる。以下、画像や音声データの処理の一例を説明する。

【0051】

「第１の処理」
例えば、処理部１７は、画像や音声データを検査に関する情報として記憶部１９に記憶させる。すなわち、処理部１７は、画像や音声データを記録する。

【0052】

「第２の処理」
その他の例として、処理部１７は、処理エンジンに基づき画像及び／又は音声を処理して検査員に提供する情報を決定し、決定した情報を中継装置２０に送信する。中継装置２０は、受信した情報を装着装置３０に送信する。

【0053】

一例として、予め車種ごとに、複数の検査項目及び検査順が定められていてもよい。そして、処理部１７は、車種ごとの処理エンジンで画像及び／又は音声を処理して現在の検査項目を認識し、次に行う検査項目を示す情報を検査員に提供する情報として決定してもよい。当該提供情報により、検査員は、次に行う検査項目を把握できる。また、処理部１７は、次に行う検査項目に関するアドバイス情報を、検査員に提供する情報として決定してもよい。例えば、予め、各車種の検査項目ごとに、アドバイス情報が蓄積されていてもよい。そして、処理部１７は、その蓄積されている情報の中から、検査中の車種の次に行う検査項目に関するアドバイス情報抽出し、出力してもよい。

【0054】

その他、予め、各車種の検査項目ごとに、発生し得る不具合事象、及び、その事象が発生した時の対応方法が定められていてもよい。そして、処理部１７は、車種ごとの処理エンジンで画像及び／又は音声を処理して、車種ごとの不具合事象を検出してもよい。そして、処理部１７は、所定の不具合を検出した場合、その事象が発生した時の対応方法を示す情報を検査員に提供する情報として決定してもよい。

【0055】

「第３の処理」
その他の例として、処理部１７は、処理エンジンに基づき画像及び／又は音声を処理して車両の検査を行い、検査結果を記憶部１９に記憶させる。この場合、処理部１７は、認証部１８により認証された検査員の識別情報に紐づけて、検査結果を記憶部１９に記憶させることができる。以下、処理部１７が行う検査の一例を説明する。

【0056】

－スピードメータ検査－
スピードメータ検査では、計測ローラー上に車両を乗せた状態で検査員がアクセルを踏み、車両のスピードメータが所定速度（４０ｋｍ／ｈ等）になったときに車外の計測器のボタンを押す。そして、検査員は、スピードメータの値と車外の計測器の値との誤差が基準に収まるか否かを確認する。

【0057】

処理部１７は、各車種に搭載されたスピードメータやその周辺の外観の特徴量に基づき、画像内でスピードメータを検出するとともに、そのスピードメータが示す値を特定する。また、処理部１７は、予め登録された車外の計測器の外観の特徴量に基づき、画像内で当該計測器を検出するとともに、その計測器が示す値を特定する。そして、処理部１７は、特定した値の誤差が基準に収まるか否かを判断し、判断結果を検査結果として記憶部１９に記憶させる。

【0058】

なお、処理部１７は、スピードメータや車外の計測器が含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。この画像に基づき、検査員がスピードメータや車外の計測器をきちんと目視して検査を行ったことを証明できる。

【0059】

また、検査員は、装着装置３０が備える任意の入力手段で、自身が判断した検査結果（ＯＫ／ＮＧ）を入力してもよい。そして、処理部１７は、検査員の検査結果を、コンピュータの検査結果に紐づけて記憶部１９に記憶させてもよい。

【0060】

－ステアリングラックブーツ、ドライブシャフトブーツ検査－
ステアリングラックブーツ、ドライブシャフトブーツ検査では、検査員が目視でヒビ、破け、損傷、汚れ等がステアリングラックブーツ、ドライブシャフトブーツにないか確認する。

【0061】

処理部１７は、各車種のステアリングラックブーツやドライブシャフトブーツやその周辺の外観の特徴量に基づき、画像内でステアリングラックブーツやドライブシャフトブーツを検出する。そして、処理部１７は、予め登録されたヒビ、破け、損傷、汚れ等の不具合の外観の特徴量に基づき、それら不具合がステアリングラックブーツやドライブシャフトブーツにないか判断し、判断結果を検査結果として記憶部１９に記憶させる。

【0062】

なお、処理部１７は、ステアリングラックブーツやドライブシャフトブーツが含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。また、処理部１７は、検出した不具合が含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。この画像に基づき、検査員がステアリングラックブーツやドライブシャフトブーツをきちんと目視して検査を行ったことを証明できる。

【0063】

また、検査員は、装着装置３０が備える任意の入力手段で、自身が判断した検査結果（ＯＫ／ＮＧ）を入力してもよい。そして、処理部１７は、検査員の検査結果を、コンピュータの検査結果に紐づけて記憶部１９に記憶させてもよい。

【0064】

－液漏れ検査－
液漏れ検査では、検査員が目視で、水や油などの液漏れがないか確認する。

【0065】

処理部１７は、各車種の液漏れが発生し得る箇所やその周辺の外観の特徴量に基づき、画像内で当該箇所を検出する。そして、処理部１７は、検出した当該箇所での液漏れ有無を判定し、判定結果を検査結果として記憶部１９に記憶させる。例えば、液漏れ時の外観の特徴量が予め記憶部１９に登録されており、処理部１７は、当該特徴量に基づき液漏れ有無を判定する。

【0066】

なお、処理部１７は、液漏れが発生し得る箇所が含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。また、処理部１７は、検出した液漏れ発生箇所が含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。この画像に基づき、検査員が「液漏れが発生し得る箇所」をきちんと目視して検査を行ったことを証明できる。

【0067】

また、検査員は、装着装置３０が備える任意の入力手段で、自身が判断した検査結果（ＯＫ／ＮＧ）を入力してもよい。そして、処理部１７は、検査員の検査結果を、コンピュータの検査結果に紐づけて記憶部１９に記憶させてもよい。

【0068】

－フロントガラス検査－
フロントガラス検査では、検査員が目視で、フロントガラスにおけるヒビ、損傷、汚れ等の不具合を検出する。

【0069】

処理部１７は、各車種のフロントガラスやその周辺の外観の特徴量に基づき、画像内でフロントガラスを検出する。そして、処理部１７は、予め登録されたヒビ、損傷、汚れ等の不具合の外観の特徴量に基づき、それら不具合がフロントガラスにないか判断し、判断結果を検査結果として記憶部１９に記憶させる。

【0070】

なお、処理部１７は、フロントガラスが含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。また、処理部１７は、検出した不具合が含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。この画像に基づき、検査員がフロントガラスをきちんと目視して検査を行ったことを証明できる。

【0071】

また、検査員は、装着装置３０が備える任意の入力手段で、自身が判断した検査結果（ＯＫ／ＮＧ）を入力してもよい。そして、処理部１７は、検査員の検査結果を、コンピュータの検査結果に紐づけて記憶部１９に記憶させてもよい。

【0072】

－灯火装置検査－
灯火装置検査では、検査員が目視でライトが灯火することを確認する。

【0073】

処理部１７は、各車種のライト（ヘッドライト、スモールライト、ウインカー、フォグライト、ブレーキライト、バックライト、ナンバーライト、室内ライト等）やその周辺の外観の特徴量に基づき、画像内でライトを検出する。そして、処理部１７は、そのライトが灯火したか判定し、判定結果を検査結果として記憶部１９に記憶させる。

【0074】

なお、処理部１７は、ライトが含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。また、処理部１７は、灯火したライトが含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。この画像に基づき、検査員がライトをきちんと目視して検査を行ったことを証明できる。

【0075】

また、検査員は、装着装置３０が備える任意の入力手段で、自身が判断した検査結果（ＯＫ／ＮＧ）を入力してもよい。そして、処理部１７は、検査員の検査結果を、コンピュータの検査結果に紐づけて記憶部１９に記憶させてもよい。

【0076】

－内装点検－
内装点検では、検査員は、ハンドル、ブレーキペダル、クラッチペダル、メーターの警告灯、発煙筒等の内装部品の検査を行う。

【0077】

処理部１７は、各車種の内装部品やその周辺の外観の特徴量に基づき、画像内で内装部品を検出する。そして、処理部１７は、各内装部品に対応した検査を行う。例えば、処理部１７は、ハンドルのセンターの位置が適正か否かを判定する。また、処理部１７は、ブレーキペダルを踏んだ時の床との隙間が適正か判定する。また、処理部１７は、クラッチペダルを踏んだ時の床との隙間が適正か判定する。また、処理部１７は、メーターの警告灯が灯火したか判定する。また、処理部１７は、発煙筒が存在するか判定する。そして、処理部１７は、これらの判定結果を検査結果として記憶部１９に記憶させる。

【0078】

なお、処理部１７は、内装部品が含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。また、処理部１７は、踏まれた状態のブレーキペダルや、踏まれた状態のクラッチペダルや、灯火した状態のメーターの警告灯等が含まれる画像を、検査の結果に関する情報として記憶部１９に記憶させてもよい。この画像に基づき、検査員が内装部品をきちんと目視して検査を行ったことを証明できる。

【0079】

また、検査員は、装着装置３０が備える任意の入力手段で、自身が判断した検査結果（ＯＫ／ＮＧ）を入力してもよい。そして、処理部１７は、検査員の検査結果を、コンピュータの検査結果に紐づけて記憶部１９に記憶させてもよい。

【0080】

－ホーン検査－
ホーン検査では、検査員はホーンを鳴らし、ホーンが正常に機能しているか確認する。

【0081】

処理部１７は、各車種のホーンの音の特徴量に基づき、音声データ内でホーンの音を検出する。そして、処理部１７は、ホーンの音を検出したか否かを、検査結果として記憶部１９に記憶させる。また、処理部１７は、ホーンの音の音圧測定を行い、音圧が基準を満たすか判定し、検査結果として記憶部１９に記憶させてもよい。

【0082】

なお、処理部１７は、ホーンの音を検出した箇所の音声データを、検査の結果に関する情報として記憶部１９に記憶させてもよい。この音声データに基づき、検査員がホーンをきちんと鳴らして検査を行ったことを証明できる。

【0083】

また、検査員は、装着装置３０が備える任意の入力手段で、自身が判断した検査結果（ＯＫ／ＮＧ）を入力してもよい。そして、処理部１７は、検査員の検査結果を、コンピュータの検査結果に紐づけて記憶部１９に記憶させてもよい。

【0084】

ところで、処理部１７は、処理エンジンに基づく画像や音声データの処理を行っていない状態の時に、画像の中から車両識別情報表示物が検出されたことに応じて、選択された処理エンジンに基づく画像や音声データの処理（上述した第２及び第３の処理の中の少なくとも１つ）を開始することができる。そして、処理部１７は、画像に基づき所定の処理終了イベントが検出されたことに応じて、選択された処理エンジンに基づく画像や音声データの処理を終了することができる。

【0085】

また、処理部１７は、処理エンジンに基づく画像や音声データの処理を行っていない状態の時に、画像の中から車両識別情報表示物が検出されたことに応じて、画像や音声データの記録（上述した第１の処理）を開始することができる。そして、処理部１７は、画像に基づき所定の処理終了イベントが検出されたことに応じて、画像や音声データの記録（上述した第１の処理）を終了することができる。

【0086】

処理終了イベントは、例えば検査員が記入する記入対象物への署名の検出である。検査員は、各種検査を行いながら、検査結果を記入する記入用紙（記入対象物）に検査結果を記入していく。そして、すべての検査が終了すると、その記入用紙に含まれる署名欄に署名を行う。この場合、装着装置３０のカメラが生成する画像の中には、図７に示すように署名欄に署名した記入用紙を含む画像が含まれる。

【0087】

処理部１７は、予め記憶部１９に記憶されている記入対象物の外観の特徴量や、署名欄の外観の特徴量に基づき、画像内から記入対象物や署名欄を検出する。そして、処理部１７は、署名付きの署名欄を検出することで、検査員による記入対象物への署名を検出する。

【0088】

次に、図８のシーケンス図を用いて、処理装置１０、中継装置２０及び装着装置３０を含む検査支援システムの処理の流れの一例を説明する。

【0089】

まず、装着装置３０は、認証情報の入力を受付けると（Ｓ１００）、受付けた認証情報を中継装置２０に送信する（Ｓ１０１）。中継装置２０は、受信した認証情報を処理装置１０に送信する（Ｓ１０２）。

【0090】

処理装置１０は、受信した認証情報に基づき認証処理を行い（Ｓ１０３）、認証結果を中継装置２０に送信する（Ｓ１０４）。中継装置２０は、受信した認証結果を装着装置３０に送信する（Ｓ１０５）。ここでは、認証に成功したものとする。

【0091】

装着装置３０は、認証に成功した旨の認証結果を受信した後、検査を開始する入力待ちとなる。そして、装着装置３０は、検査を開始する入力を受付けると（Ｓ１０６）、カメラによる動画像の撮影、及び、マイクによる集音を開始する（Ｓ１０７）。そして、装着装置３０は、収集したデータ（画像や音声データ）をリアルタイム処理で中継装置２０に送信する処理を開始する（Ｓ１０８）。なお、装着装置３０は、Ｓ１２０の撮影終了タイミングまで、カメラによる動画像の撮影、マイクによる集音、中継装置２０への送信を継続する。

【0092】

中継装置２０は、装着装置３０から受信したデータ（画像や音声データ）をリアルタイム処理で処理装置１０に送信する（Ｓ１０９）。なお、中継装置２０は、装着装置３０からのデータ（画像や音声データ）の受信が継続している間、処理装置１０への送信を継続する。

【0093】

処理装置１０は、受信した画像の中から車両識別情報表示物を検出する処理を行う。そして、画像の中から車両識別情報表示物が検出されない場合（Ｓ１１０のＮｏ）、次の画像待ちとなり（Ｓ１１１）、次の画像を取得すると（Ｓ１１１のＹｅｓ）、再び、画像の中から車両識別情報表示物を検出する処理を行う。

【0094】

そして、画像の中から車両識別情報表示物が検出されると（Ｓ１１０のＹｅｓ）、処理装置１０は、その車両識別情報表示物が示す車両識別情報を認識し（Ｓ１１２）、認識した車両識別情報に基づき、車両識別情報表示物を付された検査対象の車両の車種を判別する（Ｓ１１３）。そして、処理装置１０は、判別された車種に対応した処理エンジンを選択し（Ｓ１１４）、選択した処理エンジンに基づく画像及び音声データの処理（上述した第２及び第３の処理の中の少なくとも１つ）や、画像及び音声データの記録（上述した第１の処理）を開始する（Ｓ１１５）。図８では明示していないが、選択した処理エンジンに基づく画像及び音声データの処理を継続している間、処理装置１０と中継装置２０と装着装置３０との間で、データの送受信が行われる。

【0095】

また、処理装置１０は、画像に基づく処理終了イベントの検出（記入対象物への署名の検出等）を開始する。処理装置１０は、処理終了イベントを検出するまで、選択した処理エンジンに基づく画像及び音声データの処理や、画像及び音声データの記録を継続する。

【0096】

そして、処理装置１０は、処理終了イベントを検出すると（Ｓ１１６のＹｅｓ）、処理エンジンに基づく画像及び音声データの処理や、画像及び音声データの記録を終了する（Ｓ１１７）。そして、処理装置１０は、処理終了を中継装置２０に通知する（Ｓ１１８）。次いで、中継装置２０は、処理終了を装着装置３０に通知する（Ｓ１１９）。

【0097】

装着装置３０は、処理終了通知に応じて、カメラによる動画像の撮影、マイクによる集音、中継装置２０へのこれらのデータの送信を終了する（Ｓ１２０）。そして、装着装置３０は、検査を開始する入力待ちとなる（Ｓ１２１）。

【0098】

ここで、本実施形態の変形例を説明する。上記実施形態では、処理装置１０は、装着装置３０が有するカメラやマイクで収集されたデータ（画像や音声データ）を取得し、選択された処理エンジンで処理した。変形例では、処理装置１０は、装着装置３０が有するカメラやマイクで収集されたデータ（画像や音声データ）に加えて、その他の箇所に設置された外部カメラや外部マイクで収集されたデータ（画像や音声データ）を取得し、選択された処理エンジンで処理してもよい。

【0099】

例えば、図９に示すように、車両の検査場所に外部カメラや外部マイクが設置されてもよい。そして、処理装置１０は、このような外部カメラや外部マイクで収集されたデータ（画像や音声データ）を取得し、選択された処理エンジンで処理してもよい。なお、処理装置１０は、装着装置３０が有するカメラが生成した画像の中から車両識別情報表示物が検出されたことに応じて、外部カメラや外部マイクで収集されたデータ（画像や音声データ）の処理や記録を開始する。そして、処理装置１０は、装着装置３０が有するカメラが生成した画像に基づき所定の処理終了イベントが検出されたことに応じて、外部カメラや外部マイクで収集されたデータ（画像や音声データ）の処理や記録を終了する。

【0100】

なお、予め複数の検査場所各々を識別する情報と、各検査場所に設置された外部カメラや外部マイクを識別する情報とを紐づけておいてもよい。そして、処理装置１０は、各装着装置３０を装着した検査員が位置する検査場所を示す情報を任意の手段で取得することで、各検査員の検査の支援に利用する外部カメラや外部マイクを特定してもよい。

【0101】

また、中継装置２０は、ディスプレイやスピーカを有し、装着装置３０から受信した画像や音声データを出力してもよい。例えば、検査員を監督する監督者は、中継装置２０から出力される画像や音声データに基づき、各検査員の検査を監視する。なお、監督者は、中継装置２０を介して検査員にアドバイスを送ることができてもよい。例えば、監督者が、中継装置２０の入力装置を介して所定の装着装置３０（複数の装着装置３０の中の１つ）を指定し、備え付けのマイクで発話すると、マイクで集音された音声が指定された装着装置３０に送信され、出力されてもよい。

【0102】

また、処理装置１０は、装着装置３０から送信された画像を、検査車両と同じ車種の過去の検査データと比較してもよい。そして、不合格時の過去の検査データと一致性が高い場合、処理装置１０は、検査結果として「ＮＧ」を決定してもよい。

【0103】

また、処理装置１０は、装着装置３０から送信された画像や音声データに基づき判定した検査結果を、記憶部１９に記憶させるとともに、中継装置２０を介して装着装置３０に送信してもよい。装着装置３０は、受信した検査結果を出力する。検査員は、処理装置１０の検査結果を参考にして、検査を行うことができる。例えば、検査員は、処理装置１０が問題ありと判定した箇所を特に注意して検査することができる。

【0104】

また、処理装置１０は、装着装置３０から送信された画像の明るさが基準レベル以上か判定してもよい。そして、基準レベル未満と判断した場合、処理装置１０は、ライトを点灯させる指示を、中継装置２０を介して装着装置３０に送信してもよい。装着装置３０は、当該指示に応じてライトを点灯する。

【0105】

また、予め車種ごとに、複数の検査項目及び検査順が定められている場合、処理装置１０は、装着装置３０から送信された画像に基づき現在の検査及び次の検査を特定してもよい。そして、装着装置３０は、所定の検査（例：車両の下に潜り込んで行う検査等）が始まるタイミングで、ライトを点灯させる指示を、中継装置２０を介して装着装置３０に送信してもよい。そして、装着装置３０は、他の所定の検査が始まるタイミングで、ライトを消灯させる指示を、中継装置２０を介して装着装置３０に送信してもよい。装着装置３０は、当該指示に応じてライトを点灯したり消灯したりする。

【0106】

また、検査員は、装着装置３０に所定の入力を行うことで、装着装置３０と所定の相手（監督者、営業マン、顧客等）の通話端末（スマートフォン、タブレット端末、ＰＣ等）とを通信させ、所定の相手と通話できてもよい。例えば、ビデオ通話機能により、装着装置３０のカメラが生成した画像を通相手の通話端末に送信できてもよい。この場合、検査員は、不具合を見つけるごとに所定の相手と通話し、それに対する対応方法を確認することができる。

【0107】

また、検査員は、装着装置３０が有する任意の入力手段で、装着装置３０が収集した画像や音声データにタグを入れる指示入力が行えてもよい。例えば、カメラの前での所定のジェスチャーや音声で当該指示入力を行う構成の場合、処理装置１０は、装着装置３０から送信された画像や音声データの中から、当該所定のジェスチャーや所定の音声を検出する処理を行う。そして、当該所定のジェスチャーや所定の音声を検出すると、処理装置１０は、その検出タイミングを特定する情報を、画像や音声データに紐づけて記憶部１９に記憶させる。

【0108】

また、処理装置１０は、すべての検査項目の検査が終了すると、記憶部１９に記憶した検査結果をプリントアウトしてもよい。そして、検査員は、このプリントアウトされた記録表を確認し、署名欄に署名してもよい。装着装置３０は、カメラでこの記録表を撮影し、中継装置２０を介して処理装置１０に送信してもよい。そして、このプリントアウトされた記録表（記入対象物）への署名の検出を、上述した処理終了イベントとしてもよい。また、処理装置１０は、記録表の画像を取得すると、印字されている車台番号から、正しい記録表であることを確認してもよい。また、処理装置１０は、印字内容と、記憶部１９に記憶されている内容とを照合することで、記録表の内容が改ざんされていないか確認してもよい。また、処理装置１０は、署名欄に記入された署名と、予め記憶部１９に記憶されている正当な検査員の署名との照合により、検査員本人が署名したことを確認してもよい。

【0109】

また、装着装置３０は、ＷＡＮやＬＡＮ等の通信ネットワーク４０に接続可能であってもよい。そして、装着装置３０は、中継装置２０を介さず、処理装置１０と通信してもよい。この場合、検査支援システムは中継装置２０を有さなくてもよい。

【0110】

また、記憶部１９に記憶された検査時の画像や音声データは、車両の検査を行う推定モデルを生成するための学習データとして利用されてもよい。

【0111】

以上説明した本実施形態の検査支援システムによれば、車種ごとに画像や音声データを処理するための処理エンジンを用意しておき、検査車両の車種に応じた処理エンジンで画像や音声データを処理して、検査支援を行うことができる。このため、検査車両の車種に応じた適切な処理を実行して、検査支援を行うことができる。

【0112】

また、本実施形態の検査支援システムによれば、画像に基づき検査車両の車種を特定し、自動的に適切な処理エンジンを選択することができる。このため、検査員が検査車両の車種把握し、車種を入力したり、処理エンジンを選択したりする場合に比べて、検査員の作業負担を軽減できる。

【0113】

また、本実施形態の検査支援システムによれば、画像に基づき処理開始タイミングを検出し、その検出に応じて、選択された処理エンジンに基づく画像の処理を開始したり、画像や音声データの記録を開始したりできる。そして、本実施形態の検査支援システムによれば、画像に基づき処理終了タイミングを検出し、その検出に応じて、選択された処理エンジンに基づく画像の処理を終了したり、画像や音声データの記録を終了したりできる。このため、不要なタイミングでの処理や記録を回避し、コンピュータの処理負担や、記憶装置への負担を軽減できる。また、検査支援システムが、自動的に処理開始タイミング及び処理終了タイミングを検出するので、当該タイミングを検査員が入力する場合に比べて検査員の作業負担を軽減できる。

【0114】

また、検査員が記入する記入対象物への署名の検出を処理終了タイミングとして検出する本実施形態の検査支援システムによれば、適切なタイミングを処理終了タイミングとして検出することが可能となる。

【0115】

また、本実施形態の検査支援システムによれば、処理装置１０が検査を行い、その検査結果を参考情報として検査員に提供することができる。検査員は当該参考情報に基づき様々な気づきが得られ、検査を高精度に行うことが可能となる。

【0116】

また、本実施形態の検査支援システムによれば、検査車両の車種に応じた適切な情報（アドバイス）を検査員に提供することができる。検査中の車両の車種に関わらず同じ情報が検査員に提供されるシステムの場合、例えば、検査項目Ａを含まない車種の車両を検査している検査員に対して、検査項目Ａの指示をしてしまう等の不都合が発生し得る。このような精度が低い情報が提供されてしまう場合、そのシステムに対する検査員の信頼度は低くなり、そのシステムから提供される情報が軽視されるなどの不都合が発生し得る。検査車両の車種に応じた適切な情報（アドバイス）を検査員に提供できる本実施形態の検査支援システムによれば、当該不都合を軽減できる。

【0117】

＜第２の実施形態＞
本実施形態の検査支援システムは、中継装置２０が処理開始タイミング及び処理終了タイミングの検出を行う点で、第１の実施形態と異なる。

【0118】

図１０に、本実施形態の検査支援システムの機能ブロック図の一例を示す。中継装置２０がイベント検出部２４を有する点で、第１の実施形態と異なる。

【0119】

イベント検出部２４は、装着装置３０から送信された画像に基づき、処理開始タイミング及び処理終了タイミングを検出する。具体的には、イベント検出部２４は、画像の中から車両識別情報表示物を検出する処理を行う。そして、イベント検出部２４は、処理エンジンに基づく画像や音声データの処理やこれらのデータ（画像や音声データ）の記録が行われてない状態の時に、画像の中から車両識別情報表示物が検出されたタイミングを、処理開始タイミングとして検出する。また、イベント検出部２４は、画像に基づき所定の処理終了イベントを検出する処理を行う。当該処理は第１の実施形態で説明した処理装置１０による所定の処理終了イベントの検出と同様であるので、ここでの説明は省略する。そして、イベント検出部２４は、所定の処理終了イベントを検出されたタイミングを、処理終了タイミングとして検出する。

【0120】

中継部２２は、イベント検出部２４による処理開始タイミングの検出に応じて、装着装置３０から受信した画像や音声データを処理装置１０に送信する処理を開始する。そして、中継部２２は、イベント検出部２４による処理終了タイミングの検出に応じて、装着装置３０から受信した画像や音声データを処理装置１０に送信する処理を終了する。

【0121】

処理装置１０は、中継装置２０からの画像や音声データの受信開始に応じて、処理エンジンに基づく画像や音声データの処理や、記憶部１９への記録を開始する。そして、処理装置１０は、中継装置２０からの画像や音声データの受信終了に応じて、処理エンジンに基づく画像や音声データの処理や、記憶部１９への記録を終了する。

【0122】

次に、図１１のシーケンス図を用いて、処理装置１０、中継装置２０及び装着装置３０を含む検査支援システムの処理の流れの一例を説明する。

【0123】

まず、装着装置３０は、認証情報の入力を受付けると（Ｓ２００）、受付けた認証情報を中継装置２０に送信する（Ｓ２０１）。中継装置２０は、受信した認証情報を処理装置１０に送信する（Ｓ２０２）。

【0124】

処理装置１０は、受信した認証情報に基づき認証処理を行い（Ｓ２０３）、認証結果を中継装置２０に送信する（Ｓ２０４）。中継装置２０は、受信した認証結果を装着装置３０に送信する（Ｓ２０５）。ここでは、認証に成功したものとする。

【0125】

装着装置３０は、認証に成功した旨の認証結果を受信した後、検査を開始する入力待ちとなる。そして、装着装置３０は、検査を開始する入力を受付けると（Ｓ２０６）、カメラによる動画像の撮影、及び、マイクによる集音を開始する（Ｓ２０７）。そして、装着装置３０は、収集したデータ（画像や音声データ）をリアルタイム処理で中継装置２０に送信する処理を開始する（Ｓ２０８）。なお、装着装置３０は、Ｓ２２２の撮影終了タイミングまで、カメラによる動画像の撮影、マイクによる集音、中継装置２０への送信を継続する。

【0126】

中継装置２０は、装着装置３０から画像や音声データを受信すると、装着装置３０から受信した画像の中から車両識別情報表示物を検出する処理を行う。そして、画像の中から車両識別情報表示物が検出されない場合（Ｓ２０９のＮｏ）、次の画像待ちとなり（Ｓ２１０）、次の画像を取得すると（Ｓ２１０のＹｅｓ）、再び、画像の中から車両識別情報表示物を検出する処理を行う。そして、画像の中から車両識別情報表示物が検出されると（Ｓ２０９のＹｅｓ）、中継装置２０は、装着装置３０から受信したデータ（画像や音声データ）をリアルタイム処理で処理装置１０に送信する処理を開始する（Ｓ２１１）。なお、中継装置２０は、その後、装着装置３０からのデータ（画像や音声データ）の受信が継続している間、処理装置１０への送信を継続する。

【0127】

処理装置１０は、受信した画像の中から車両識別情報表示物を検出した後（Ｓ２１２）、その車両識別情報表示物が示す車両識別情報を認識し（Ｓ２１３）、認識した車両識別情報に基づき、車両識別情報表示物を付された検査対象の車両の車種を判別する（Ｓ２１４）。そして、処理装置１０は、判別された車種に対応した処理エンジンを選択し（Ｓ２１５）、選択した処理エンジンに基づく画像及び音声データの処理（第１の実施形態で説明した第２及び第３の処理の中の少なくとも１つ）や、画像及び音声データの記録（第１の実施形態で説明した第１の処理）を開始する（Ｓ２１６）。処理装置１０は、その後、中継装置２０により処理終了イベントが検出されるまで、選択した処理エンジンに基づく画像及び音声データの処理や、画像及び音声データの記録を継続する。図１１では明示していないが、選択した処理エンジンに基づく画像及び音声データの処理を継続している間、処理装置１０と中継装置２０と装着装置３０との間で、データの送受信が行われる。

【0128】

中継装置２０は、装着装置３０から受信したデータ（画像や音声データ）をリアルタイム処理で処理装置１０に送信する処理を開始した後（Ｓ２１１の後）、次の画像を取得すると（Ｓ２１７のＹｅｓ）、画像に基づく処理終了イベントの検出（記入対象物への署名の検出等）を開始する。そして、中継装置２０は、処理終了イベントを検出すると（Ｓ２１８のＹｅｓ）、装着装置３０から受信したデータ（画像や音声データ）をリアルタイム処理で処理装置１０に送信する処理を終了する（Ｓ２１９）。

【0129】

また、中継装置２０は、処理終了イベントを検出すると（Ｓ２１８のＹｅｓ）、処理終了を装着装置３０に通知する（Ｓ２２１）。装着装置３０は、処理終了通知に応じて、カメラによる動画像の撮影、マイクによる集音、中継装置２０へのこれらのデータの送信を終了する（Ｓ２２２）。そして、装着装置３０は、検査を開始する入力待ちとなる（Ｓ２２３）。

【0130】

また、中継装置２０は、処理終了イベントを検出すると（Ｓ２１８のＹｅｓ）、処理終了を処理装置１０に通知する（Ｓ２２０）。処理装置１０は、処理終了通知に応じて、選択した処理エンジンに基づく画像及び音声データの処理や、画像及び音声データの記録を終了する（Ｓ２２４）。なお、処理装置１０は、中継装置２０からの画像や音声データの受信が終了したことに応じて、処理エンジンに基づくデータの処理や記録を終了してもよい。

【0131】

本実施形態の検査支援システムのその他の構成は、第１の実施形態と同様である。

【0132】

以上、本実施形態の検査支援システムによれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の検査支援システムによれば、処理装置１０によるデータの処理や記録を開始するタイミング及び終了するタイミングを中継装置２０が検出することができる。そして、中継装置２０は、その開始タイミングから終了タイミングの間、装着装置３０から受信したデータ（画像や音声データ）を処理装置１０に送信する。

【0133】

このような本実施形態の検査支援システムによれば、不要なタイミングで中継装置２０から処理装置１０にデータ（画像や音声データ）を送信する不都合を抑制できる。結果、コンピュータの処理負担軽減や、通信負荷の軽減などが実現される。

【0134】

＜第３の実施形態＞
本実施形態の検査支援システムは、装着装置３０が処理開始タイミング及び処理終了タイミングの検出を行う点で、第１及び第２の実施形態と異なる。

【0135】

図１２に、本実施形態の検査支援システムの機能ブロック図の一例を示す。装着装置３０がイベント検出部３４を有する点で、第１及び第２の実施形態と異なる。

【0136】

イベント検出部３４は、データ収集部３２が収集した画像（装着装置３０が有するカメラが生成した画像）に基づき、処理開始タイミング及び処理終了タイミングを検出する。具体的には、イベント検出部３４は、画像の中から車両識別情報表示物を検出する処理を行う。そして、イベント検出部３４は、処理エンジンに基づく画像や音声データの処理やこれらのデータ（画像や音声データ）の記録が行われてない状態の時に、画像の中から車両識別情報表示物が検出されたタイミングを、処理開始タイミングとして検出する。また、イベント検出部３４は、画像に基づき所定の処理終了イベントを検出する処理を行う。当該処理は第１の実施形態で説明した処理装置１０による所定の処理終了イベントの検出と同様であるので、ここでの説明は省略する。そして、イベント検出部３４は、所定の処理終了イベントを検出されたタイミングを、処理終了タイミングとして検出する。

【0137】

通信部３３は、イベント検出部３４による処理開始タイミングの検出に応じて、データ収集部３２が収集した画像や音声データをリアルタイム処理で中継装置２０に送信する処理を開始する。そして、通信部３３は、イベント検出部３４による処理終了タイミングの検出に応じて、データ収集部３２が収集した画像や音声データをリアルタイム処理で中継装置２０に送信する処理を終了する。

【0138】

中継装置２０は、装着装置３０からの画像や音声データの受信開始に応じて、当該画像や音声データをリアルタイム処理で処理装置１０に送信する処理を開始する。そして、中継装置２０は、装着装置３０からの画像や音声データの受信終了に応じて、当該画像や音声データをリアルタイム処理で処理装置１０に送信する処理を終了する。

【0139】

処理装置１０は、中継装置２０からの画像や音声データの受信開始に応じて、処理エンジンに基づく画像や音声データの処理や、記憶部１９への記録を開始する。そして、処理装置１０は、中継装置２０からの画像や音声データの受信終了に応じて、処理エンジンに基づく画像や音声データの処理や、記憶部１９への記録を終了する。

【0140】

次に、図１３のシーケンス図を用いて、処理装置１０、中継装置２０及び装着装置３０を含む検査支援システムの処理の流れの一例を説明する。

【0141】

まず、装着装置３０は、認証情報の入力を受付けると（Ｓ３００）、受付けた認証情報を中継装置２０に送信する（Ｓ３０１）。中継装置２０は、受信した認証情報を処理装置１０に送信する（Ｓ３０２）。

【0142】

処理装置１０は、受信した認証情報に基づき認証処理を行い（Ｓ３０３）、認証結果を中継装置２０に送信する（Ｓ３０４）。中継装置２０は、受信した認証結果を装着装置３０に送信する（Ｓ３０５）。ここでは、認証に成功したものとする。

【0143】

装着装置３０は、認証に成功した旨の認証結果を受信した後、検査を開始する入力待ちとなる。そして、装着装置３０は、検査を開始する入力を受付けると（Ｓ３０６）、カメラによる動画像の撮影、及び、マイクによる集音を開始する（Ｓ３０７）。そして、装着装置３０は、生成した画像の中から車両識別情報表示物を検出する処理を行う。画像の中から車両識別情報表示物が検出されない場合（Ｓ３０８のＮｏ）、次の画像待ちとなり（Ｓ３０９）、次の画像を取得すると（Ｓ３０９のＹｅｓ）、再び、画像の中から車両識別情報表示物を検出する処理を行う。そして、画像の中から車両識別情報表示物が検出されると（Ｓ３０８のＹｅｓ）、装着装置３０は、収集したデータ（画像や音声データ）をリアルタイム処理で中継装置２０に送信する処理を開始する（Ｓ３１０）。なお、装着装置３０は、Ｓ３２２の撮影終了タイミングまで、カメラによる動画像の撮影、マイクによる集音、中継装置２０への送信を継続する。

【0144】

中継装置２０は、装着装置３０から受信したデータ（画像や音声データ）をリアルタイム処理で処理装置１０に送信する（Ｓ３１１）。なお、中継装置２０は、装着装置３０からのデータ（画像や音声データ）の受信が継続している間、処理装置１０への送信を継続する。

【0145】

処理装置１０は、受信した画像の中から車両識別情報表示物を検出した後（Ｓ３１２）、その車両識別情報表示物が示す車両識別情報を認識し（Ｓ３１３）、認識した車両識別情報に基づき、車両識別情報表示物を付された検査対象の車両の車種を判別する（Ｓ３１４）。そして、処理装置１０は、判別された車種に対応した処理エンジンを選択し（Ｓ３１５）、選択した処理エンジンに基づく画像及び音声データの処理（第１の実施形態で説明した第２及び第３の処理の中の少なくとも１つ）や、画像及び音声データの記録（第１の実施形態で説明した第１の処理）を開始する（Ｓ３１６）。処理装置１０は、その後、装着装置３０により処理終了イベントが検出されるまで、選択した処理エンジンに基づく画像及び音声データの処理や、画像及び音声データの記録を継続する。図１３では明示していないが、選択した処理エンジンに基づく画像及び音声データの処理を継続している間、処理装置１０と中継装置２０と装着装置３０との間で、データの送受信が行われる。

【0146】

装着装置３０は、画像や音声データをリアルタイム処理で中継装置２０に送信する処理を開始した後（Ｓ３１０の後）、次の画像を取得すると（Ｓ３１７のＹｅｓ）、画像に基づく処理終了イベントの検出（記入対象物への署名の検出等）を開始する。そして、装着装置３０は、処理終了イベントを検出すると（Ｓ３１８のＹｅｓ）、カメラによる動画像の撮影、マイクによる集音、中継装置２０へのこれらのデータの送信を終了する（Ｓ３２２）。そして、装着装置３０は、検査を開始する入力待ちとなる（Ｓ３２３）。

【0147】

また、装着装置３０は、処理終了イベントを検出すると（Ｓ３１８のＹｅｓ）、処理終了を中継装置２０に通知する（Ｓ３１９）。そして、中継装置２０は、処理終了を処理装置１０に通知する（Ｓ３２０）。

【0148】

処理装置１０は、処理終了通知に応じて、選択した処理エンジンに基づく画像及び音声データの処理（第１の実施形態で説明した第２及び第３の処理の中の少なくとも１つ）や、画像及び音声データの記録を終了する（Ｓ３２１）。なお、処理装置１０は、中継装置２０からの画像や音声データの受信が終了したことに応じて、処理エンジンに基づくデータの処理や記録を終了してもよい。

【0149】

本実施形態の検査支援システムのその他の構成は、第１及び第２の実施形態と同様である。

【0150】

ここで、本実施形態の検査支援システムの変形例を説明する。装着装置３０は、ＷＡＮやＬＡＮ等の通信ネットワーク４０に接続可能であってもよい。そして、装着装置３０は、中継装置２０を介さず、処理装置１０と通信してもよい。この場合、検査支援システムは中継装置２０を有さなくてもよい。

【0151】

以上、本実施形態の検査支援システムによれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の検査支援システムによれば、処理装置１０によるデータの処理や記録を開始するタイミング及び終了するタイミングを装着装置３０が検出することができる。そして、装着装置３０は、その開始タイミングから終了タイミングの間、収集したデータ（画像や音声データ）を中継装置２０に送信する。

【0152】

このような本実施形態の検査支援システムによれば、不要なタイミングで装着装置３０から中継装置２０にデータ（画像や音声データ）を送信する不都合や、中継装置２０から処理装置１０にデータ（画像や音声データ）を送信する不都合を抑制できる。結果、コンピュータの処理負担軽減や、通信負荷の軽減などが実現される。

【0153】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。

【0154】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0155】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 画像を取得する取得手段と、
前記画像の中から車両識別情報表示物を検出する検出手段と、
前記車両識別情報表示物が示す車両識別情報を認識する認識手段と、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別する判別手段と、
判別された前記車種に対応した処理エンジンを選択する選択手段と、
選択された前記処理エンジンに基づき、前記画像を処理する処理手段と、
を有する処理装置。
２． 前記処理手段は、前記処理エンジンに基づき前記画像を処理して検査員に提供する情報を決定し、決定した前記情報を検査員の端末に送信する１に記載の処理装置。
３． 前記処理手段は、前記処理エンジンに基づき前記画像を処理して前記車両の検査を行い、検査結果を記憶手段に記憶させる１又は２に記載の処理装置。
４． 前記装着装置を利用する前記検査員を認証する認証手段をさらに有し、
前記処理手段は、認証した前記検査員の識別情報に紐づけて、前記検査結果を前記記憶手段に記憶させる３に記載の処理装置。
５． 前記処理手段は、前記画像の中から前記車両識別情報表示物が検出されたことに応じて、選択された前記処理エンジンに基づく前記画像の処理を開始する１から４のいずれかに記載の処理装置。
６． 前記処理手段は、前記画像に基づき所定の処理終了イベントが検出されたことに応じて、選択された前記処理エンジンに基づく前記画像の処理を終了する１から５のいずれかに記載の処理装置。
７． 前記処理終了イベントは、検査員が記入する記入対象物への署名の検出である６に記載の処理装置。
８． 前記処理手段は、
前記画像の中から前記車両識別情報表示物が検出されたことに応じて、前記取得手段により取得された前記画像の記録を開始し、
前記画像に基づき所定の処理終了イベントが検出されたことに応じて、前記記録を終了する１から７のいずれかに記載の処理装置。
９． 前記取得手段は、検査員が装着した装着装置に付されたカメラが生成した画像を取得する１から８のいずれかに記載の処理装置。
１０． コンピュータが、
画像を取得し、
前記画像の中から車両識別情報表示物を検出し、
前記車両識別情報表示物が示す車両識別情報を認識し、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別し、
判別された前記車種に対応した処理エンジンを選択し、
選択された前記処理エンジンに基づき、前記画像を処理する処理方法。
１１． コンピュータを、
画像を取得する取得手段、
前記画像の中から車両識別情報表示物を検出する検出手段、
前記車両識別情報表示物が示す車両識別情報を認識する認識手段、
認識された前記車両識別情報に基づき、前記車両識別情報表示物を付された検査対象の車両の車種を判別する判別手段、
判別された前記車種に対応した処理エンジンを選択する選択手段、
選択された前記処理エンジンに基づき、前記画像を処理する処理手段、
として機能させるプログラム。

【符号の説明】

【0156】

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 処理装置
１１ 通信部
１２ 取得部
１３ 検出部
１４ 認識部
１５ 判別部
１６ 選択部
１７ 処理部
１８ 認証部
１９ 記憶部
２０ 中継装置
２１ 第１の通信部
２２ 中継部
２３ 第２の通信部
２４ イベント検出部
３０ 装着装置
３１ 認証処理部
３２ データ収集部
３３ 通信部
３４ イベント検出部
４０ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】