特許 7462386 検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-28

(45)【発行日】2024-04-05

(54)【発明の名称】検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体

(51)【国際特許分類】

   B62J 50/20 20200101AFI20240329BHJP

   G06T 7/00 20170101ALI20240329BHJP

【ＦＩ】

B62J50/20

G06T7/00 610C

G06T7/00 350C

【請求項の数】 34

(21)【出願番号】P 2019111495

(22)【出願日】2019-06-14

(65)【公開番号】P2020203547

(43)【公開日】2020-12-24

【審査請求日】2022-02-17

(73)【特許権者】

【識別番号】000002439

【氏名又は名称】株式会社シマノ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】島津 速人

(72)【発明者】

【氏名】中島 康博

(72)【発明者】

【氏名】増田 慎子

【審査官】高瀬 智史

(56)【参考文献】

【文献】米国特許第９９２８５４４（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１９／００１２８０２（ＵＳ，Ａ１）

【文献】特開２０１５－１９７３７６（ＪＰ，Ａ）

【文献】国際公開第２０１８／１９１４３５（ＷＯ，Ａ１）

【文献】米国特許第７８１９０３２（ＵＳ，Ｂ２）

【文献】特開２０１３－３２０２８（ＪＰ，Ａ）

【文献】特開２０１５－１６０５５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３０８７５１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１１６３５６（ＵＳ，Ａ１）

【文献】特開２００２－３７０６３０（ＪＰ，Ａ）

【文献】特開２００５－７８５８６（ＪＰ，Ａ）

【文献】特開２０１６－３５６２７（ＪＰ，Ａ）

【文献】国際公開第２０１８／１５０２５６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６２Ｊ ５０／２０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、前記被検出消耗箇所の消耗度合に関する消耗情報を出力する制御部を備え、
前記制御部は、前記被検出消耗箇所に関する関連情報を出力し、
前記関連情報は、前記被検出消耗箇所に関する部品の取り付け方法に関する情報、前記被検出消耗箇所に関する部品の取り外し方法に関する情報、および前記被検出消耗箇所に関する部品の調整方法に関する情報のうちの少なくとも１つを含む、検出装置。

【請求項2】

前記制御部は、前記第１イメージから前記人力駆動車における複数の消耗箇所を複数の被検出消耗箇所として検出し、前記複数の被検出消耗箇所ごとに前記消耗情報を出力する、請求項１に記載の検出装置。

【請求項3】

前記消耗箇所は、前記人力駆動車のコンポーネントを含み、
前記制御部は、前記第１イメージから前記人力駆動車のコンポーネントを前記被検出消耗箇所として検出する、請求項１または２に記載の検出装置。

【請求項4】

前記コンポーネントは、ブレーキシュー、ブレーキパッド、スプロケット組立体、クランク組立体、チェーン、タイヤ、ディスクブレーキローター、リム、および、ワイヤのうちの少なくとも１つを含む、請求項３に記載の検出装置。

【請求項5】

前記制御部は、イメージの入力に応じて前記被検出消耗箇所の消耗情報を出力するように学習された学習モデルによって、前記消耗情報を出力する、請求項１から４のいずれか一項に記載の検出装置。

【請求項6】

前記制御部は、ブレーキシュー、ブレーキパッド、ディスクブレーキローター、およびリムの少なくとも１つを含むイメージに対して摩耗度合をラベル付けした教師データによって、前記学習モデルを学習させる、請求項５に記載の検出装置。

【請求項7】

前記制御部は、スプロケット組立体およびクランク組立体の少なくとも１つを含む前記イメージに対して摩耗度合をラベル付けした教師データによって、前記学習モデルを学習させる、請求項５または６に記載の検出装置。

【請求項8】

前記制御部は、チェーンおよびワイヤの少なくとも１つを含むイメージに対して伸び度合いをラベル付けした教師データによって、前記学習モデルを学習させる、請求項５から７のいずれか一項に記載の検出装置。

【請求項9】

前記制御部は、タイヤを含むイメージに対して溝の深さをラベル付けした教師データによって、前記学習モデルを学習させる、請求項５から８のいずれか一項に記載の検出装置。

【請求項10】

前記制御部は、前記消耗箇所を異なる複数の角度から見たときの複数のイメージを含む教師データによって、前記学習モデルを学習させる、請求項５から９のいずれか一項に記載の検出装置。

【請求項11】

前記学習モデルは、入力されたイメージおよび前記人力駆動車の使用者の身体情報または属性情報を含む使用者情報に基づき、前記消耗情報を出力する、請求項５から１０のいずれか一項に記載の検出装置。

【請求項12】

前記制御部は、前記被検出消耗箇所が強調された第２イメージを出力する、請求項１から１１のいずれか一項に記載の検出装置。

【請求項13】

前記制御部は、前記消耗情報に応じて前記被検出消耗箇所の強調方法を変更する、請求項１２に記載の検出装置。

【請求項14】

前記関連情報は、前記被検出消耗箇所の種類に関する情報を含む、請求項１から１３のいずれか一項に記載の検出装置。

【請求項15】

前記取り付け方法に関する情報は、前記被検出消耗箇所に関する部品を前記被検出消耗箇所に取り付けるための部品に関する情報、および前記被検出消耗箇所に関する部品の取り付けまたは取り外しに必要な工具に関する情報のうちの少なくとも１つを含む、請求項１４に記載の検出装置。

【請求項16】

前記関連情報は、前記被検出消耗箇所の部品に置き換わる置換部品に関する情報を含む、請求項１から１５のいずれか一項に記載の検出装置。

【請求項17】

前記置換部品に関する情報は、前記被検出消耗箇所の部品を、前記置換部品に置き換える場合に必要となる他の部品に関する情報を含む、請求項１６に記載の検出装置。

【請求項18】

前記関連情報は、前記検出された消耗箇所に関する商品を購入するためのＷｅｂサイトへのアクセスするためのリンク情報を含む、請求項１から１７のいずれか一項に記載の検出装置。

【請求項19】

前記制御部は、文字列およびグラフィックの少なくとも１つによって前記関連情報を出力する、請求項１から１８のいずれか一項に記載の検出装置。

【請求項20】

前記制御部から出力される情報を表示する表示部をさらに備える、請求項１から１９のいずれか一項に記載の検出装置。

【請求項21】

前記表示部は、前記被検出消耗箇所に関する関連情報を、被選択関連情報として選択する入力を受け付け、
前記制御部は、前記被選択関連情報の詳細情報を出力する、請求項２０に記載の検出装置。

【請求項22】

前記表示部は、前記被検出消耗箇所が強調された第２イメージにおいて、前記被検出消耗箇所を、被選択消耗箇所として選択可能に構成され、
前記制御部は、前記被選択消耗箇所の関連情報を出力する、請求項２０または２１に記載の検出装置。

【請求項23】

前記制御部から出力される情報を記憶する記憶部をさらに備える、請求項１から２２のいずれか一項に記載の検出装置。

【請求項24】

前記制御部は、前記被検出消耗箇所の識別情報を、前記消耗度合に関する情報と対応付けて前記記憶部に記憶させる、請求項２３に記載の検出装置。

【請求項25】

前記制御部は、前記被検出消耗箇所の識別情報を、前記人力駆動車の使用者の識別情報と対応付けて前記記憶部に記憶させる、請求項２３または２４に記載の検出装置。

【請求項26】

前記制御部は、前記被検出消耗箇所の識別情報を、前記消耗度合に関する情報と対応付けて外部に出力する、請求項１から２５のいずれか一項に記載の検出装置。

【請求項27】

前記制御部は、前記被検出消耗箇所の識別情報を、前記人力駆動車の使用者の識別情報と対応付けて外部に出力する、請求項１から２６のいずれか一項に記載の検出装置。

【請求項28】

前記制御部は、前記人力駆動車の走行履歴に基づき、前記第１イメージの入力を使用者に促すための情報を出力する、請求項１から２７のいずれか一項に記載の検出装置。

【請求項29】

前記制御部は、前記入力された第１イメージを、前記人力駆動車の走行履歴と対応付けて外部に出力する、請求項１から２８のいずれか一項に記載の検出装置。

【請求項30】

前記制御部は、前記入力された第１イメージを、前記人力駆動車の走行環境を示す走行環境情報と対応付けて外部に出力する、請求項１から２９のいずれか一項に記載の検出装置。

【請求項31】

人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、
前記被検出消耗箇所の消耗度合に関する消耗情報と、前記被検出消耗箇所に関する関連情報を出力し、
前記関連情報は、前記被検出消耗箇所に関する部品の取り付け方法に関する情報、前記被検出消耗箇所に関する部品の取り外し方法に関する情報、および前記被検出消耗箇所に関する部品の調整方法に関する情報のうちの少なくとも１つを含む、検出方法。

【請求項32】

人力駆動車の少なくとも一部を含む複数の第１イメージに対して、人力駆動車における消耗箇所と前記消耗箇所に関する関連情報とを含む教師データを作成し、
イメージを入力すると、前記イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、前記被検出消耗箇所および前記被検出消耗箇所に関する関連情報を出力する学習モデルを、前記作成された教師データに基づいて生成し、
前記関連情報は、前記被検出消耗箇所に関する部品の取り付け方法に関する情報、前記被検出消耗箇所に関する部品の取り外し方法に関する情報、および前記被検出消耗箇所に関する部品の調整方法に関する情報のうちの少なくとも１つを含む、生成方法。

【請求項33】

コンピュータに、
人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、
前記被検出消耗箇所の消耗度合に関する消耗情報と、前記被検出消耗箇所に関する関連情報とを出力する、処理を実行させ、
前記関連情報は、前記被検出消耗箇所に関する部品の取り付け方法に関する情報、前記被検出消耗箇所に関する部品の取り外し方法に関する情報、および前記被検出消耗箇所に関する部品の調整方法に関する情報のうちの少なくとも１つを含む、コンピュータプログラム。

【請求項34】

請求項３３に記載のプログラムが記憶された、コンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人力駆動車の一部をイメージから検出する検出装置、検出方法、生成方法、コンピュータプログラム、および記憶媒体に関する。

【背景技術】

【0002】

フロントディレーラ、リアディレーラ、シートポスト、またはサスペンションを含むコンポーネントを備える人力駆動車が知られている。人力駆動車のコンポーネントに診断装置を接続して診断を行なう技術が知られている（特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第７８１９０３２号明細書

【文献】米国特許第９２２７６９７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

人力駆動車における消耗部分に関する情報を、ユーザがより手軽に取得することができる手段を提供することが求められている。

【0005】

本発明の目的は、ユーザが手軽に人力駆動車における消耗部分の消耗度合に関する情報を得ることを可能にする検出装置、検出方法、生成方法、コンピュータプログラム、および記憶媒体を提供することである。

【課題を解決するための手段】

【0006】

（１）本発明の第１側面に従う検出装置は、人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、前記被検出消耗箇所の消耗度合に関する消耗情報を出力する制御部を備える。
このため、ユーザは、人力駆動車のイメージから、人力駆動車の消耗箇所における消耗度合を手軽に取得することができる。

【0007】

（２）本発明の第２側面に従う検出装置では、前記制御部は、前記第１イメージから前記人力駆動車における複数の消耗箇所を複数の被検出消耗箇所として検出し、前記複数の被検出消耗箇所ごとに前記消耗情報を出力する
このため、ユーザは、検出消耗箇所ごとの消耗情報を手軽に取得することができる。

【0008】

（３）本発明の第３側面に従う検出装置では、前記消耗箇所は、前記人力駆動車のコンポーネントを含み、前記制御部は、前記第１イメージから前記人力駆動車のコンポーネントを前記被検出消耗箇所として検出する。
このため、ユーザは、人力駆動車のイメージから、コンポーネントの消耗情報を手軽に取得することができる。

【0009】

（４）本発明の第４側面に従う検出装置では、前記コンポーネントは、ブレーキシュー、ブレーキパッド、スプロケット組立体、クランク組立体、チェーン、タイヤ、ディスクブレーキローター、リム、および、ワイヤのうちの少なくとも１つを含む。
このため、ユーザは、人力駆動車の、ブレーキシュー、ブレーキパッド、スプロケット組立体、クランク組立体、チェーン、タイヤ、ディスクブレーキローター、リム、および、ワイヤのうちの少なくとも１つについて、イメージから消耗度合を取得することができる。

【0010】

（５）本発明の第５側面に従う検出装置では、前記制御部は、イメージの入力に応じて前記被検出消耗箇所の消耗情報を出力するように学習された学習モデルによって、前記消耗情報を出力する。
このため、検出装置は、学習モデルによって消耗情報を出力することができる。

【0011】

（６）本発明の第６側面に従う検出装置では、前記制御部は、ブレーキシュー、ブレーキパッド、ディスクブレーキローター、およびリムの少なくとも１つを含むイメージに対して摩耗度合をラベル付けした教師データによって、前記学習モデルを学習させる。
このため、検出装置は、ブレーキシュー、ブレーキパッド、ディスクブレーキローター、およびリムの少なくとも１つのイメージから、摩耗度合の情報を出力することができる。

【0012】

（７）本発明の第７側面に従う検出装置では、前記制御部は、スプロケット組立体およびクランク組立体の少なくとも１つを含む前記イメージに対して摩耗度合をラベル付けした教師データによって、前記学習モデルを学習させる。
このため、検出装置は、スプロケット組立体およびクランク組立体の少なくとも１つのイメージから、摩耗度合の情報を出力することができる。

【0013】

（８）本発明の第８側面に従う検出装置では、前記制御部は、チェーンおよびワイヤの少なくとも１つを含むイメージに対して伸び度合いをラベル付けした教師データによって、前記学習モデルを学習させる。
このため、検出装置は、チェーンおよびワイヤの少なくとも１つのイメージから、伸び具合の情報を出力することができる。

【0014】

（９）本発明の第９側面に従う検出装置では、前記制御部は、タイヤを含むイメージに対して溝の深さをラベル付けした教師データによって、前記学習モデルを学習させる。
このため、検出装置は、タイヤを含むイメージから溝の深さに対応する消耗度合の情報を出力することができる。

【0015】

（１０）本発明の第１０側面に従う検出装置では、前記制御部は、前記消耗箇所を異なる複数の角度から見たときの複数のイメージを含む教師データによって、前記学習モデルを学習させる。
このため、検出装置は、人力駆動車に関する複数のイメージに基づき、人力駆動車の消耗箇所における消耗度合を出力する学習モデルを生成することができる。

【0016】

（１１）本発明の第１１側面に従う検出装置では、前記学習モデルは、入力されたイメージおよび前記人力駆動車の使用者の身体情報または属性情報を含む使用者情報に基づき、前記消耗情報を出力する。
このため、検出装置は、人力駆動車のイメージおよび人力駆動車の使用者の身体情報に基づき、人力駆動車の消耗箇所における消耗度合を出力する学習モデルを生成することができる。

【0017】

（１２）本発明の第１２側面に従う検出装置では、前記制御部は、前記被検出消耗箇所が強調された第２イメージを出力する。
このため、ユーザは、検出された消耗箇所を認識し易い。

【0018】

（１３）本発明の第１３側面に従う検出装置では、前記制御部は、前記消耗情報に応じて前記被検出消耗箇所の強調方法を変更する。
このため、ユーザは、検出された消耗箇所の消耗度合を直感的に認識し易い。

【0019】

（１４）本発明の第１４側面に従う検出装置では、前記制御部は、前記被検出消耗箇所に関する関連情報を出力する。
このため、ユーザは、人力駆動車のイメージから、検出された消耗箇所に関する関連情報を取得することができる。

【0020】

（１５）本発明の第１５側面に従う検出装置では、前記関連情報は、前記被検出消耗箇所の種類に関する情報、前記被検出消耗箇所に関する部品の取り付け方法に関する情報、前記被検出消耗箇所に関する部品の取り外し方法に関する情報、および前記被検出消耗箇所に関する部品の調整方法に関する情報のうちの少なくとも１つを含む。
このため、ユーザは、人力駆動車の一部を含むイメージから、人力駆動車の消耗箇所に関する種類、取り付け方法、取り外し方法、および、調整方法の少なくとも１つの情報を取得することができる。

【0021】

（１６）本発明の第１６側面に従う検出装置では、前記取り付け方法に関する情報は、前記被検出消耗箇所に関する部品を前記被検出消耗箇所に取り付けるための部品に関する情報、および前記被検出消耗箇所に関する部品の取り付けまたは取り外しに必要な工具に関する情報のうちの少なくとも１つを含む。
このため、ユーザは、人力駆動車のイメージから、人力駆動車における消耗箇所に対応する部品、および工具の少なくとも１つの情報を取得することができる。

【0022】

（１７）本発明の第１７側面に従う検出装置では、前記関連情報は、前記被検出消耗箇所の部品に置き換わる置換部品に関する情報を含む。
このため、ユーザは、人力駆動車のイメージから、人力駆動車における消耗箇所に対応する置換部品の情報を取得することができる。

【0023】

（１８）本発明の第１８側面に従う検出装置では、前記置換部品に関する情報は、前記被検出消耗箇所の部品を、前記置換部品に置き換える場合に必要となる他の部品に関する情報を含む。
このため、ユーザは、人力駆動車のイメージから、人力駆動車における消耗箇所に対応する置換部品へ置き換える場合に必要な部品の情報を取得することができる。

【0024】

（１９）本発明の第１９側面に従う検出装置では、前記関連情報は、前記検出された消耗箇所に関する商品を購入するためのＷｅｂサイトへのアクセスするためのリンク情報を含む。
このため、ユーザは消耗箇所に関して必要な商品を、簡易な操作で入手することができる。

【0025】

（２０）本発明の第２０側面に従う検出装置では、前記制御部は、文字列およびグラフィックの少なくとも１つによって前記関連情報を出力する。
このため、ユーザは、人力駆動車のイメージから、文字列、グラフィックによって消耗箇所に関する関連情報を得ることができる。

【0026】

（２１）本発明の第２１側面に従う検出装置は、前記制御部から出力される情報を表示する表示部をさらに備える。
このため、ユーザは、消耗箇所の消耗度合を表示部にて視認することができる。

【0027】

（２２）本発明の第２２側面に従う検出装置では、前記表示部は、前記被検出消耗箇所に関する関連情報を、被選択関連情報として選択する入力を受け付け、前記制御部は、前記被選択関連情報の詳細情報を出力する。
このため、ユーザは、人力駆動車のイメージから検出された消耗箇所の消耗度合に対し、いずれの消耗箇所の情報をより詳細に表示させるかを選択し、詳細な情報を取得することができる。

【0028】

（２３）本発明の第２３側面に従う検出装置では、前記表示部は、前記被検出消耗箇所が強調された第２イメージにおいて、前記被検出消耗箇所を、被選択消耗箇所として選択可能に構成され、前記制御部は、前記被選択消耗箇所の関連情報を出力する。
このため、ユーザは、人力駆動車のイメージに対して強調表示された第２イメージから、いずれの消耗箇所の情報をより詳細に表示させるかを選択し、詳細な情報を取得することができる。

【0029】

（２４）本発明の第２４側面に従う検出装置は、前記制御部から出力される情報を記憶する記憶部をさらに備える。
このため、検出装置は、人力駆動車における消耗箇所の消耗度合に関する情報を記憶しておくことができる。

【0030】

（２５）本発明の第２５側面に従う検出装置では、前記制御部は、前記被検出消耗箇所の識別情報を、前記消耗度合に関する情報と対応付けて前記記憶部に記憶させる。
このため、検出装置は、人力駆動車における消耗箇所と消耗度合に関する情報を対応付けて記憶しておくことができる。

【0031】

（２６）本発明の第２６側面に従う検出装置では、前記制御部は、前記被検出消耗箇所の識別情報を、前記人力駆動車の使用者の識別情報と対応付けて前記記憶部に記憶させる。
このため、検出装置は、人力駆動車における消耗箇所と消耗度合に関する情報と使用者を識別する情報とを対応付けて記憶しておくことができる。

【0032】

（２７）本発明の第２７側面に従う検出装置では、前記制御部は、前記被検出消耗箇所の識別情報を、前記消耗度合に関する情報と対応付けて外部に出力する。
このため、検出装置は、人力駆動車における消耗箇所の識別情報と消耗度合に関する情報とを対応付けて外部、たとえばクラウドサーバ、に出力することができる。

【0033】

（２８）本発明の第２８側面に従う検出装置では、前記制御部は、前記被検出消耗箇所の識別情報を、前記人力駆動車の使用者の識別情報と対応付けて外部に出力する。
このため、検出装置は、人力駆動車における消耗箇所の識別情報と消耗度合に関する情報と使用者を識別する情報とを対応付けて外部、たとえばクラウドサーバ、に出力することができる

【0034】

（２９）本発明の第２９側面に従う検出装置では、前記制御部は、前記人力駆動車の走行履歴に基づき、前記第１イメージの入力を使用者に促すための情報を出力する。
このため、ユーザは、より確実に、消耗箇所の消耗度合に関する情報を取得することができる。

【0035】

（３０）本発明の第３０側面に従う検出装置では、前記制御部は、前記入力された第１イメージを、前記人力駆動車の走行履歴と対応付けて外部に出力する。
このため、検出装置は、人力駆動車における消耗箇所を含むイメージと人力駆動車の走行履歴とを対応付けて外部、たとえばクラウドサーバ、に出力することができる。

【0036】

（３１）本発明の第３１側面に従う検出装置では、前記制御部は、前記入力された第１イメージを、前記人力駆動車の走行環境を示す走行環境情報と対応付けて外部に出力する。
このため、検出装置は、人力駆動車における消耗箇所を含むイメージと人力駆動車が走行した走行環境を示す情報とを対応付けて外部、たとえばクラウドサーバ、に出力することができる。

【0037】

本発明は、上述の特徴的な要素を備える検出装置として実現することができるだけでなく、各特徴的な処理を実行する検出方法、コンピュータに特徴的な処理を実行させるコンピュータプログラム、学習モデルの生成方法、および記憶媒体として実現することができる。

【0038】

（３２）本発明の第３２側面に従う検出方法は、人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、前記被検出消耗箇所の消耗度合に関する消耗情報を出力する。
このため、ユーザは、人力駆動車のイメージから、人力駆動車の消耗箇所における消耗度合を手軽に取得することができる。

【0039】

（３３）本発明の第３３側面に従う生成方法は、人力駆動車の少なくとも一部を含む複数の第１イメージに対して、人力駆動車における消耗箇所と消耗度合をラベル付けした教師データを作成し、イメージを入力すると、前記イメージから前記人力駆動車における消耗箇所を検出し、被検出箇所および消耗度合いを出力する学習モデルを、前記作成された教師データに基づいて生成する。
このため、入力したイメージから人力駆動車における消耗箇所および消耗度合を出力する学習モデルを生成することができる。

【0040】

（３４）本発明の第３４側面に従うコンピュータプログラムは、コンピュータに、人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、前記被検出消耗箇所の消耗度合に関する消耗情報を出力する、処理を実行させる。
このため、ユーザは、人力駆動車のイメージから、人力駆動車の消耗箇所における消耗度合を手軽に取得することができる。

【0041】

（３５）本発明の第３５側面に従う記憶媒体は、上述のコンピュータプログラムが記憶された、コンピュータが読み取り可能な記憶媒体である。
このため、コンピュータプログラムをコンピュータに読み取らせることで、前記コンピュータが、人力駆動車のイメージに基づいて、人力駆動車の消耗箇所の消耗度合を出力する装置になる。

【発明の効果】

【0042】

本開示によれば、検出装置によれば、ユーザは、特別な診断装置を用いずに、人力駆動車のイメージから、人力駆動車における消耗箇所の消耗度合の情報を手軽に取得することができる。

【図面の簡単な説明】

【0043】

【図1】第１実施形態に係る検出装置の構成を示すブロック図である。

【図2】学習モデルの概要を示す図である。

【図3】検出装置の検出処理手順の一例を示すフローチャートである。

【図4】検出装置の表示部における消耗情報の出力例を示す。

【図5】第２実施形態の検出装置の構成を示すブロック図である。

【図6】第２実施形態における学習モデルの概要を示す。

【図7】第２実施形態の学習モデルを用いた検出装置による処理手順の一例を示すフローチャートである。

【図8】第２実施形態の学習モデルを用いた検出装置による処理手順の一例を示すフローチャートである。

【図9】第２実施形態における検出装置の表示部における消耗情報の出力例を示す。

【図10】検出装置の表示部における関連情報の出力例を示す。

【図11】検出装置の表示部における関連情報の他の出力例を示す。

【図12】第３実施形態の学習モデルの概要を示す図である。

【図13】第３実施形態の学習モデルの他の構成例を示す図である。

【図14】第３実施形態の検出装置の処理手順の一例を示すフローチャートである。

【図15】第４実施形態における検出装置およびサーバ装置を含むシステムの構成を示すブロック図である。

【図16】第４実施形態における処理手順の一例を示すフローチャートである。

【図17】第４実施形態における処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0044】

以下の各実施形態に関する説明は、本発明に関する出力装置が取り得る形態の例示であり、その形態を制限することを意図していない。本発明に関する出力装置は、各実施形態の変形例、および、相互に矛盾しない少なくとも２つの変形例が組み合わせられた形態等のように各実施形態とは異なる形態を取り得る。

【0045】

以下の各実施形態に関する説明において、前、後、前方、後方、左、右、横、上、および、下等の方向を表す言葉は、ユーザが人力駆動車のサドルに着座した状態における方向を基準として用いられる。

【0046】

（第１実施形態）
図１は、第１実施形態に係る検出装置１の構成を示すブロック図である。検出装置１は、第１例ではスマートフォンである。検出装置１は、第２例ではタブレット端末である。検出装置１は、第３例では、ウェアラブルの情報端末であって眼鏡型であってよい。検出装置１は、制御部１００、記憶部１０２、表示部１０４、通信部１０８、入出力部１１０、および撮像部１１２を備える。

【0047】

制御部１００は、ＣＰＵ（Central Processing Unit ）および／またはＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。制御部１００は、内蔵するＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等のメモリを用いて処理を実行する。制御部１００は、人力駆動車の少なくとも一部が含まれる第１イメージから人力駆動車における消耗箇所を被検出消耗箇所として検出し、被検出消耗箇所の消耗度合に関する消耗情報を出力する。後述するように、制御部１００は、第１イメージから人力駆動車における複数の消耗箇所を複数の被検出消耗箇所として検出し、複数の被検出消耗箇所ごとに消耗情報を出力する。

【0048】

記憶部１０２は、例えばフラッシュメモリ等の不揮発性メモリを含む。記憶部１０２には、コンピュータプログラム１Ｐが記憶されている。制御部１００は、コンピュータプログラム１Ｐを読み出して実行する。コンピュータプログラム１Ｐは、人力駆動車の部品メーカから提供され、または任意の配信サーバから配信され、汎用コンピュータである検出装置１にインストールされる。コンピュータプログラム１Ｐは、コンピュータに、人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車における消耗箇所を被検出消耗箇所として検出し、前記被検出消耗箇所の消耗度合に関する消耗情報を出力する、処理を実行させる。コンピュータプログラム１Ｐは、記憶媒体５に記憶されたコンピュータプログラム５Ｐを制御部１００が読み出して記憶部１０２に複製したものであってもよい。

【0049】

記憶部１０２には、学習モデル１Ｍが記憶されている。学習モデル１Ｍは、イメージの入力に応じて前記被検出消耗箇所の消耗情報を出力するように学習されている。制御部１００は、学習モデル１Ｍによって消耗情報を出力する。学習モデル１Ｍは、記憶媒体５に記憶された学習モデル５Ｍを制御部１００が読み出して記憶部１０２に複製したものであってもよい。

【0050】

消耗箇所は、人力駆動車のコンポーネントを含み、制御部１００は、第１イメージから人力駆動車のコンポーネントを被検出消耗箇所として検出する。コンポーネントは、ブレーキシュー、ブレーキパッド、スプロケット組立体、クランク組立体、チェーン、タイヤ、ディスクブレーキローター、リム、および、ワイヤのうちの少なくとも１つを含む。

【0051】

記憶部１０２にはあらかじめ、人力駆動車における被検出消耗箇所に関する消耗情報が記憶されている。記憶部１０２には、人力駆動車の消耗箇所の種類に関する情報が記憶されている。種類は例えば、被検出照応箇所すなわちコンポーネントの種類であって、ブレーキシュー、ブレーキパッド、スプロケット組立体、クランク組立体、チェーン、タイヤ、ディスクブレーキローター、リム、および、ワイヤのうちの少なくとも１つを含む。

【0052】

記憶部１０２には、あらかじめ記憶されている情報に加え、制御部１００が出力する情報が記憶される。記憶部１０２には、使用者の識別情報が記憶される。使用者の識別情報は、名前、ニックネーム、ユーザＩＤ、または電子メールアドレスを含む。記憶部１０２には、使用者に関する使用者情報が記憶される。使用者情報は、人力駆動車の使用者の身体情報および属性情報の少なくとも１つを含む。身体情報は、たとえば、使用者の身長、体重を含む。使用者の属性情報は例えば、性別、または年齢である。使用者の属性情報は、運転の技量に関する情報であってもよい。属性情報は例えば、使用者の好むライディングスタイルや、ライフスタイルに関する情報を含む。

【0053】

表示部１０４は、液晶パネルまたは有機ＥＬディスプレイ等の表示装置である。表示部１０４は、制御部１００から出力される情報を表示する。第１実施形態では表示部１０４は、撮像部１１２で撮像した人力駆動車のイメージと共に、人力駆動車の一部に関する関連情報を表示する。

【0054】

表示部１０４は、ユーザの操作を受け付けるインタフェースである操作部１０６を含む。本実施形態では、操作部１０６は、表示部１０４に含まれるタッチパネルデバイスである。操作部１０６は、物理ボタン、ディスプレイ内蔵のタッチパネルデバイス、スピーカ、およびマイクロフォン等であってもよい。

【0055】

通信部１０８は、公衆通信網Ｎへの通信接続を実現する通信モジュールである。制御部１００は、通信部１０８を介して、情報を外部に出力することができる。

【0056】

入出力部１１０は、外部記憶装置、または通信機器と接続されるインタフェースである。入出力部１１０は例えば、ＵＳＢ（Universal Serial Bus）インタフェースである。

【0057】

撮像部１１２は、ＣＭＯＳ（Complementary MOS ）イメージセンサ等の撮像素子を含む。撮像部１１２は起動すると撮像素子にて撮像された画像を出力する。撮像部１１２は、制御部１００の指示に基づいて静止画像または動画像を撮像する。

【0058】

第１実施形態の制御部１００は、学習モデル１Ｍを用いて人力駆動車の消耗箇所を検出する。制御部１００は、人力駆動車を撮像した第１イメージを学習モデル１Ｍへ入力し、写っている人力駆動車、人力駆動車における消耗箇所となるコンポーネントを検出し、検出された消耗箇所の消耗度合に関する消耗情報を出力する。以下に、学習モデル１Ｍを用いた検出処理を詳細に説明する。

【0059】

制御部１００は、イメージの入力に応じて被検出消耗箇所の消耗情報を出力するように学習された学習モデル１Ｍによって、消耗情報を出力する。図２は、学習モデル１Ｍの概要を示す図である。学習モデル１Ｍは、図２に示すようにニューラルネットワーク（以下ＮＮ：Neural Network）を用いた教師ありの深層学習アルゴリズムによって人力駆動車における消耗箇所となるコンポーネントの識別情報を、確度および消耗度合と共に出力する。学習モデル１Ｍの学習アルゴリズムは教師なしの学習アルゴリズムでもよいし、リカレントニューラルネットワーク（Recurrent Neural Network）でもよい。

【0060】

学習モデル１ＭのＮＮは、図２に示すように、定義データによって定義される複数段の畳み込み層、プーリング層および全結合層を含み、入力される第１イメージの特徴量に基づいて、入力された第１イメージに写っている物体を分類し、分類結果を識別する識別情報と確度とを出力する。

【0061】

学習モデル１Ｍは、検出装置１であらかじめ制御部１００によって、インターネットを介して収集された人力駆動車の消耗箇所を含む第１イメージに対し、第１イメージに写っている消耗箇所の識別情報および消耗度合をラベル付けした教師データに基づいて生成されている。学習モデル１Ｍは、人力駆動車に関する事業者によって管理されるモデル作成装置によって生成され、学習済みのものであってもよい。

【0062】

学習モデル１Ｍはあらかじめ、人力駆動車に関する事業者によって管理されるモデル作成装置にて、人力駆動車における消耗箇所となるコンポーネントに関する設計用アプリケーションプログラムによって生成されるレンダリングイメージに基づく教師データによって学習されてもよい。

【0063】

本実施形態に係る学習モデル１Ｍは、人力駆動車の少なくとも一部を含む複数の第１イメージに対して、人力駆動車における消耗箇所と消耗度合をラベル付けした教師データを作成し、イメージを入力すると、イメージから人力駆動車における消耗箇所を被検出消耗箇所として検出し、被検出消耗箇所および消耗度合いを出力する学習モデルを、作成された教師データに基づいて生成する、生成方法によって生成される。

【0064】

教師データのイメージにラベル付けされる消耗箇所のコンポーネントの識別情報は、第１例では、人力駆動車のコンポーネントの種類を区別するための情報である。図２では、ブレーキシューを含む第１イメージは「０」のラベル、ブレーキパッドを含む第１イメージには「１」のラベル、スプロケット組立体を含む第１イメージには「２」のラベルが付けられている。

【0065】

教師データのイメージにラベル付けされる物体の識別情報は第２例では、人力駆動車の各コンポーネントの型番に対応する。この場合、コンポーネントを含む第１イメージに型番別のラベルが付けられて教師データとされる。

【0066】

制御部１００は、イメージの入力に応じて被検出消耗箇所の消耗情報を出力するように、学習モデル１Ｍを学習させる。第１例では、制御部１００は、ブレーキシュー、ブレーキパッド、ディスクブレーキローター、およびリムの少なくとも１つを含む第１イメージに対し、各々を区別するコンポーネントの識別情報および摩耗度合をラベル付けした教師データによって学習モデル１Ｍを学習させる。

【0067】

第２例では、制御部１００は、スプロケット組立体およびクランク組立体の少なくとも１つを含む第１イメージに対し、スプロケット組立体およびクランク組立体を識別する識別情報および摩耗度合をラベル付けした教師データによって学習モデル１Ｍを学習させる。

【0068】

第３例では、制御部１００は、チェーンおよびワイヤの少なくとも１つを含む第１イメージに対し、チェーンおよびワイヤを識別する識別情報および伸び度合いをラベル付けした教師データによって学習モデル１Ｍを学習させる。

【0069】

第４例では、制御部１００は、タイヤを含む第１イメージに対してタイヤを溝の深さをラベル付けした教師データによって学習モデル１Ｍを学習させる。

【0070】

第１例から第４例において、制御部１００は、同一の消耗度合の消耗箇所を異なる複数の角度から見たときの複数のイメージを含む教師データによって、学習モデル１Ｍを学習させてもよい。

【0071】

学習モデル１Ｍは、上述のブレーキシュー、ブレーキパッド、スプロケット組立体、クランク組立体、チェーン、タイヤ、ディスクブレーキローター、リム、および、ワイヤ全てを識別するように学習されてもよいし、第１例、第２例、第３例および第４例に分別して学習されてもよい。この場合、学習モデル１Ｍは、第１イメージを分類する分類器と分類ごとの消耗度合を出力するモデルとで構成されてもよい。

【0072】

図２に示した学習モデル１Ｍを用いた検出処理を、フローチャートを参照して説明する。図３は、検出装置１の検出処理手順の一例を示すフローチャートである。スマートフォンである検出装置１を所持するユーザ、または検出装置１を所持する人力駆動車のメンテナンススタッフが、コンピュータプログラム１Ｐを起動させると、制御部１００は以下の処理を実行する。

【0073】

制御部１００は、人力駆動車を含む第１イメージを受け付ける（ステップＳ１０１）。ステップＳ１０１において、制御部１００は、撮像部１１２を起動させ、画像出力を受け付ける。あらかじめ撮像部１１２によって取得された第１イメージを記憶部１０２に記憶しておき、ステップＳ１０１において、制御部１００が、選択された第１イメージを記憶部１０２から読み出すことで第１イメージを受け付けてもよい。

【0074】

制御部１００は、受け付けた第１イメージを出力する（ステップＳ１０３）。ステップＳ１０３において制御部１００は、第１イメージを表示部１０４に表示させる。

【0075】

制御部１００は、受け付けた第１イメージを学習済みの学習モデル１Ｍに入力する（ステップＳ１０５）。学習モデル１Ｍは、第１イメージが入力されると、人力駆動車における１または複数の消耗箇所を、１または複数の被消耗箇所として検出し、被検出消耗箇所の識別情報、確度および消耗度合を出力する。制御部１００は、学習モデル１Ｍから出力された確度が所定値以上の識別情報および対応する消耗度合を取得する（ステップＳ１０７）。

【0076】

制御部１００は、被検出消耗箇所および消耗度合に関する消耗情報を出力する（ステップＳ１０９）。ステップＳ１０９において制御部１００は、消耗情報として、消耗度合を示す文字列又はグラフィックとして表示部１０４に表示させる。制御部１００は、第１イメージ上に、消耗情報を示す文字列を重畳させて表示させてもよい。消耗情報の出力は表示部１０４への出力に限らず、入出力部１１０を介した外部装置への出力でも、印刷出力であっても、音声出力であってもよい。

【0077】

ステップＳ１０９において制御部１００は、消耗情報を消耗箇所ごとに選択可能に出力し、選択された消耗箇所の消耗情報を出力する。消耗情報の出力例は、図４を参照して詳細に説明する。

【0078】

制御部１００は、被消耗箇所の識別情報を、消耗度合に関する情報と対応付けて記憶部１０２に記憶させ（ステップＳ１１１）、処理を終了する。

【0079】

図４は、検出装置１の表示部１０４における消耗情報の表示例を示す。図４には、表示部１０４に表示されるアプリ画面１４０の例が示されている。アプリ画面１４０には、ステップＳ１０３で表示部１０４に出力された第１イメージ１４２が含まれる。アプリ画面１４０には、第１イメージ１４２に重畳して、被検出消耗箇所の消耗度合に関する消耗情報が、文字列を含むオブジェクト１４４として表示されている。

【0080】

図４の例では、被検出消耗箇所がブレーキシューであり、消耗情報として、制動面の減少量の推定値が表示されている。被検出消耗箇所がタイヤである場合には、消耗情報として、溝の減少量の推定値が表示される。被検出消耗箇所がディスクブレーキローターである場合には、消耗情報として、ブレーキ面の減少量の推定値が表示される。被検出消耗箇所がワイヤの場合には、消耗情報として、伸び率の推定値が表示される。

【0081】

制御部１００は、図４に示したように、消耗度合から特定できる減少量を消耗情報として表示させてもよいし、残量の推定値を表示してもよい。制御部１００は、被検出消耗箇所がスプロケット組立体およびクランク組立体のうちの少なくとも１つである場合も同様に推定値を表示してよい。

【0082】

制御部１００は、消耗箇所としてチェーンまたはワイヤを検出し、伸び率から推定される推奨交換時期を消耗情報として出力してもよい。制御部１００は、消耗箇所としてタイヤを検出し、消耗情報としてタイヤの溝の深さを百分率で表示してもよい。

【0083】

ユーザは、人力駆動車のイメージから、人力駆動車における消耗箇所における消耗度合を手軽に取得することができる。

【0084】

（第２実施形態）
図５は、第２実施形態の検出装置１の構成を示すブロック図である。第２実施形態の検出装置１のハードウェア構成は、記憶部１０２に被検出消耗箇所の関連情報を記憶していること以外は、第１実施形態と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。

【0085】

第２実施形態の検出装置１の記憶部１０２には、前記被検出消耗箇所に関する関連情報が記憶されている。制御部１００は、被検出消耗箇所に関する関連情報を出力する。関連情報は、被検出消耗箇所の種類に関する情報、被検出消耗箇所に関する部品の取り付け方法に関する情報、被検出消耗箇所に関する部品の取り外し方法に関する情報、および被検出消耗箇所に関する部品の調整方法に関する情報のうちの少なくとも１つを含む。

【0086】

取り付け方法に関する情報は、被検出消耗箇所に関する部品を被検出消耗箇所に取り付けるための部品に関する情報、および被検出消耗箇所に関する部品の取り付けまたは取り外しに必要な工具に関する情報のうちの少なくとも１つを含む。

【0087】

関連情報は、被検出消耗箇所に関する関連情報として、消耗箇所の部品に置き換わる置換部品に関する情報を含んでもよい。置換部品に関する情報は、被検出消耗箇所の部品を、前記置換部品に置き換える場合に必要となる他の部品に関する情報を含む。関連情報は、被検出消耗箇所に関する関連情報として、消耗箇所に関する商品を購入するためのＷｅｂサイトへのアクセスするためのリンク情報を含んでいてもよい。

【0088】

第２実施形態の検出装置１の制御部１００は、学習モデル１Ｍに基づき、第１イメージに写っている消耗箇所を第１イメージ内の位置と共に検出する。図６は、第２実施形態における学習モデル１Ｍの概要を示す。第２実施形態における学習モデル１Ｍは、第１イメージに写っている人力駆動車に関する物体の第１イメージ内での位置も出力するように学習される。学習モデル１Ｍはこの場合、ＳＳＤ（Single Shot MultiBox Detector ）として学習される。

【0089】

図６に示すように、学習モデル１Ｍはこの場合、入力された第１イメージを複数チャネルに分解し、畳み込みまたはプーリング処理の後、複数のスケールの特徴マップを段階的に出力する。学習モデル１Ｍは、複数段階ごとに出力された特徴マップに対して検出範囲を候補と確度とを出力し、段階ごとに出力された検出範囲の候補に対して重複したものを除外しながら、検出範囲候補を集合させ、検出枠のおよび対応する確度（score）を出力する。

【0090】

第２実施形態における学習モデル１Ｍを学習するための教師データは、第１イメージ内の物体の範囲を示す枠の位置、幅および高さも含む。物体の位置も出力する学習モデル１Ｍは、ＳＳＤに限られずＲ－ＣＮＮ、ＹＯＬＯ等に基づくモデルであってよい。

【0091】

図６に示した位置を含めて消耗箇所を検出する学習モデル１Ｍは、人力駆動車の一部を含む第１イメージに対し、第１イメージに写っている消耗箇所の識別情報および消耗度合いをラベル付けし、第１イメージ内の消耗箇所の位置を指定した教師データによって学習されている。教師データは、人力駆動車のオーナー、人力駆動車のメンテナンススタッフから収集される第１イメージを用いて作成されてもよい。

【0092】

図７および図８は、第２実施形態の学習モデル１Ｍを用いた検出装置１による処理手順の一例を示すフローチャートである。図７および図８のフローチャートに示す処理手順の内、第１実施形態の図４のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

【0093】

第２実施形態の検出装置１の制御部１００は、使用者の識別情報、および属性情報の入力を受け付け（ステップＳ１２１）、第１イメージを受け付ける（Ｓ１０１）。ステップＳ１２１における使用者の識別情報の受け付けは、コンピュータプログラム１Ｐの初回起動のみであってもよいし、検出処理の都度受け付けてもよい。使用者の識別情報は名前、ニックネームであってよい。ステップＳ１２１において制御部１００は、記憶部１０２に記憶される複数の使用者の識別情報のいずれか１つの選択によって入力を受け付けてもよい。

【0094】

ステップＳ１０５の第１イメージの入力に応じて第２実施形態の学習モデル１Ｍは、検出された消耗箇所の識別情報、確度、消耗箇所の検出範囲、および消耗度合を出力する。制御部１００は、学習モデル１Ｍから出力された確度が所定値以上の識別情報、対応する検出範囲および消耗度合を取得する（ステップＳ１２３）。

【0095】

制御部１００は、消耗情報に応じて、被検出消耗箇所の強調方法を変更する。具体的には、制御部１００は、取得した検出範囲の情報に含まれる第１イメージ内における検出位置、幅および高さに基づき、被検出消耗箇所が強調された第２イメージを作成する（ステップＳ１２５）。

【0096】

ステップＳ１２５で作成される第２イメージは例えば、第１イメージ上の消耗箇所のコンポーネントを囲む枠を重畳させて得られる。消耗度合に応じて変更される強調方法は、枠の色、太さ、点滅の有無によって区別される。例えば制御部１００は、消耗箇所の消耗度合が大きく消耗箇所に関する部品の交換が必要な場合は、枠の色を赤く、太くまたは点滅させ、消耗度合が小さく部品の交換が不要な場合は枠の色を緑色とし、細く、または点滅させずに第２イメージを作成する。第２イメージは例えば、第１イメージ上の消耗箇所のコンポーネントに輪郭のグラフィックを重畳させて得られる。第２イメージは例えば、消耗箇所のコンポーネントから出る吹き出しのグラフィックである。第２イメージは例えば、第１イメージ上の消耗箇所のコンポーネントの範囲を覆うように半透明のグラフィックを重畳させて得られる。第２イメージは文字列を含んでよい。消耗度合に応じて輪郭、吹き出し、半透明グラフィックまたは文字列の色、太さまたは動きが変更されてよい。

【0097】

制御部１００は、被検出消耗箇所が強調された第２イメージを出力する制御部１００は、消耗箇所の消耗度合に関する消耗情報を第２イメージとともに出力する（ステップＳ１２７）。ステップＳ１２７において、制御部１００は、消耗情報および第２イメージを表示部１０４に表示させる。

【0098】

制御部１００は、取得した識別情報に対応する消耗箇所に関する関連情報を記憶部１０２から読み出す（ステップ１２９）。制御部１００は、被検出消耗箇所が強調された第２イメージにおいて、被検出消耗箇所を、被選択消耗箇所とする入力を受け付ける（ステップＳ１３１）。制御部１００は、被選択消耗箇所に関する関連情報を出力する（ステップＳ１３３）。制御部１００は、ステップＳ１３３において、関連情報を表示部１０４に表示させる。関連情報の出力は表示部１０４への表示に限らず、入出力部１１０を介した外部装置への出力でも、印刷出力であっても、音声出力であってもよい。

【0099】

ステップＳ１３３で出力される関連情報は、複数であってよく、制御部１００は、消耗箇所に関する関連情報を被選択関連情報として選択する入力を受け付ける（ステップＳ１３５）。制御部１００は、選択された関連情報の詳細情報を出力する（ステップＳ１３７）。ステップＳ１３７において制御部１００は、関連情報の詳細を表示部１０４に表示させる。

【0100】

制御部１００は、被検出消耗箇所の識別情報を、消耗度合に関する情報と対応付けて記憶部１０２に記憶させる（Ｓ１１１）。制御部１００は、被検出消耗箇所の識別情報を、人力駆動車の使用者の識別情報と対応付けて記憶部１０２に記憶させ（ステップＳ１３９）、処理を終了する。ステップＳ１３７において制御部１００は、ステップＳ１３１で選択された消耗箇所についてのみ記憶してもよい。使用者の識別情報と対応付けて記憶しておくことにより、いずれの消耗箇所が使用者にとって重みがあるか、使用者の嗜好に応じて記憶することができる。

【0101】

図９は、第２実施形態における検出装置１の表示部１０４における消耗情報の表示例を示す。図９には、表示部１０４に表示されるアプリ画面１４０の例が示されている。アプリ画面１４０には、消耗箇所のブレーキシュー、タイヤおよび消耗箇所を含むコンポーネントが強調された第２イメージ１４８が含まれる。表示部１０４は、被検出消耗箇所が強調された第２イメージ１４８において、被検出消耗箇所を、被選択消耗箇所として選択可能に構成される。表示部１０４に含まれるタッチパネルデバイスを介して、第２イメージ１４８に含まれる被検出消耗箇所に対応するオブジェクト１５０を、選択することができる。図９の例では、検出された２つの消耗箇所およびコンポーネントは、検出枠で囲まれて強調され、選択可能なオブジェクト１５０は吹き出しである。

【0102】

図１０は、検出装置１の表示部１０４における関連情報の表示例を示す。図１０は、図９の例で表示されている２つの消耗箇所のうち、「ブレーキシュー」が選択された場合に、関連情報としてブレーキシューの「取り付け方法」、「取り外し方法」、「調整方法」、「購入Ｗｅｂサイト」および「登録」の内の少なくとも１つを選択可能なメニュー１４６がオブジェクト１５０内に表示される。図１０に示すように制御部１００は、文字列およびグラフィックの少なくとも１つによって関連情報を出力する。

【0103】

図１１は、検出装置１の表示部１０４における関連情報の他の表示例を示す。図１１は、図１０の例で表示されているメニュー１４６で「ブレーキシュー」の「取り外し方法」が選択された場合の表示例である。「取り外し方法」が選択された場合、取り外しに必要な工具に関する情報が表示されている。図１１に示すように制御部１００は、文字列およびグラフィックの少なくとも１つによって関連情報の詳細情報を出力する。

【0104】

ユーザはスマートフォンまたはタブレット端末を用い、コンピュータプログラム１Ｐを起動させることによって、人力駆動車のイメージから、消耗箇所の消耗度合および照応箇所の関連情報を手軽に得ることができる。第２実施形態では、消耗箇所の位置も検出して消耗箇所が強調された第２イメージを表示するので、ユーザは、検出された消耗箇所と、関連情報とを認識し易い。

【0105】

（第３実施形態）
第３実施形態では、消耗度合に関する消耗情報を出力する学習モデル１Ｍへの入力情報として、使用者の身体情報または属性情報を用いる。第３実施形態の学習モデル１Ｍは、消耗度合に関する消耗情報として残量を示す割合を出力するように学習される。第３実施形態の検出装置１の構成は、学習モデル１Ｍおよび処理内容の詳細以外は、第１実施形態と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。

【0106】

図１２は、第３実施形態の学習モデル１Ｍの概要を示す図である。学習モデル１Ｍは、第１実施形態の図２の学習モデル１Ｍと同様に、ＮＮを用いた深層学習アルゴリズムによって学習される。第３実施形態の学習モデル１Ｍは、入力された第１イメージおよび人力駆動車の使用者の身体情報または属性情報を含む使用者情報に基づき、消耗度合に関する消耗情報を出力する。。身体情報は例えば体重であり、例えば図１２に示したように、第１イメージの特徴量を出力する層の段階で入力される。

【0107】

図１３は、第３実施形態の学習モデル１Ｍの他の構成例を示す図である。学習モデル１Ｍは、第１イメージの入力に応じて消耗箇所および消耗度合を出力するＮＮによるモデルと、モデルから出力された消耗箇所の識別情報、消耗度合および身体情報とを入力し、消耗箇所の身体情報を加味した消耗度合を出力する別のＮＮに基づくモデルとを含む構成としてもよい。図１３の学習モデル１Ｍを用いる場合、制御部１００は、第１のモデルから消耗箇所の識別情報を取得し、第２のモデルから消耗度合を取得する。

【0108】

図１４は、第３実施形態の検出装置１の処理手順の一例を示すフローチャートである。スマートフォンである検出装置１を所持するユーザ、または検出装置１を所持する人力駆動車のメンテナンススタッフが、コンピュータプログラム１Ｐを起動させると、制御部１００は以下の処理を実行する。

【0109】

制御部１００は、人力駆動車の使用者の身体情報または属性情報を受け付ける（ステップＳ３０１）。制御部１００は、表示部１０４の操作部１０６を介して使用者の識別情報および使用者情報を受け付けてもよいし、記憶部１０２に記憶されている使用者の識別情報および使用者情報を読み出してもよい。

【0110】

制御部１００は、使用者が乗る人力駆動車を含む第１イメージを受け付ける（ステップＳ３０３）。

【0111】

制御部１００は、受け付けた第１イメージを、出力する（ステップＳ３０５）。ステップＳ３０５において制御部１００は、第１イメージを表示部１０４に表示させる。

【0112】

制御部１００は、受け付けた使用者の身体情報または属性情報と、第１イメージとを学習済みの学習モデル１Ｍに入力する（ステップＳ３０７）。

【0113】

第３実施形態の学習モデル１Ｍは、使用者の身体情報または属性情報、および第１イメージの入力に応じて、人力駆動車の消耗箇所を被検出消耗箇所として検出し、被検出消耗箇所の識別情報と、身体情報または属性情報が加味された消耗度合とを出力する。制御部１００は、消耗箇所の識別情報および消耗度合を学習モデル１Ｍから取得する（ステップＳ３０９）。ステップＳ３０７およびステップＳ３０９によって、制御部１００は、人力駆動車の消耗箇所を被消耗箇所として検出する。

【0114】

制御部１００は、取得した識別情報に対応する消耗箇所および消耗度合に関する消耗情報を出力する（ステップＳ３１１）。ステップＳ３１１において制御部１００は、消耗情報を表示部１０４に表示させる。ステップＳ３１１において制御部１００は、第１イメージ上に、消耗情報を示す文字列を重畳させて表示してもよい。消耗情報の出力は表示部１０４への表示に限らず、入出力部１１０を介した外部装置への出力でも、印刷出力であっても、音声出力であってもよい。

【0115】

制御部１００は、ステップＳ３１１で出力した消耗度合に関する情報と対応付けて、被検出消耗箇所の識別情報を記憶部１０２に記憶させ（ステップＳ３１３）、処理を終了する。

【0116】

第３実施形態で検出装置１は、人力駆動車のイメージのみならず、人力駆動車の使用者の身体情報を用いてより精度よく消耗度合を出力できる。

【0117】

（第４実施形態）
第４実施形態では、関連情報は、検出装置１が通信接続可能なサーバ装置２に記憶されており、検出装置１はサーバ装置２から関連情報を取得する。図１５は、第４実施形態における検出装置１およびサーバ装置２を含むシステムの構成を示すブロック図である。第４実施形態における検出装置１の構成の一部は、第１実施形態または第２実施形態と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。

【0118】

第４実施形態の検出装置１は、制御部１００、記憶部１０２、表示部１０４、通信部１０８、入出力部１１０、および撮像部１１２を備える。

【0119】

第４実施形態の検出装置１の記憶部１０２には、関連情報が記憶されていない。関連情報はサーバ装置２にて記憶されたものが使用される。記憶部１０２には、スマートフォンである検出装置１のユーザの人力駆動車の走行履歴が記憶されている。記憶部１０２には、人力駆動車の走行環境を示す走行環境情報が記憶される。走行環境は、位置情報によって特定される走行路面の種類、天候の情報を含む。走行履歴および走行環境は第１例では、人力駆動車のサイクルコンピュータから入出力部１１０または他の無線通信モジュールによって取得された情報である。走行履歴および走行環境は、検出装置１の制御部１００が他のコンピュータプログラムに基づいて測定して得られるものであってもよい。

【0120】

第４実施形態の検出装置１の通信部１０８は、Wi-Fi に対応する無線通信デバイスを用い、公衆通信網Ｎへ、アクセスポイントＡＰを介して接続してもよい。通信部１０８は、キャリアネットワークＮ２を介した通信を実現するキャリア通信用モジュールであってよい。

【0121】

サーバ装置２は、サーバコンピュータを用いる。サーバ装置２は、制御部２０、記憶部２２、および通信部２４を備える。サーバ装置２は１台のサーバコンピュータとして説明するが、複数のサーバコンピュータで機能または処理を分散させてもよい。

【0122】

制御部２０は、ＣＰＵまたはＧＰＵを用いたプロセッサである。制御部２０は、内蔵するＲＯＭおよびＲＡＭ等のメモリを用いて処理を実行する。

【0123】

記憶部２２は、例えばハードディスクまたはＳＳＤ（Solid State Drive ）等の不揮発性メモリを含む。記憶部２２には、サーバプログラム２Ｐが記憶されている。制御部２０は、サーバプログラム２Ｐを読み出して実行する。

【0124】

記憶部２２は、関連情報データベースＤＢ１と、使用者識別情報データベースＤＢ２と、イメージデータベースＤＢ３とを含む。関連情報データベースＤＢ１は、検出される消耗箇所に関連する情報を含む。関連情報データベースＤＢ１は、検出される消耗箇所の種類に関する情報、消耗箇所に関する部品の取り付け方法に関する情報、消耗箇所に関する部品の取り外し方法に関する情報、および消耗箇所に関する部品の調整方法に関する情報のうちの少なくとも１つを含む。取り付け方法に関する情報は、検出された消耗箇所に関する部品を消耗箇所に取り付けるための部品に関する情報、および検出された消耗箇所に関する部品の取り付けまたは取り外しに必要な工具に関する情報のうちの少なくとも１つを含んでよい。関連情報データベースＤＢ１は、検出される消耗箇所の部品に置き換わる置換部品に関する情報を含んでよい。置換部品に関する情報は、消耗箇所の部品を、置換部品に置き換える場合に必要となる他の部品に関する情報を含んでもよい。関連情報データベースＤＢ１は、消耗箇所に関する商品を購入するためのＷｅｂサイトへのアクセスするためのリンク情報を含む。使用者識別情報データベースＤＢ２は、人力駆動車の使用者の名前、ニックネーム、ユーザＩＤ、および電子メールアドレスに関する情報を含む。イメージデータベースＤＢ３は、人力駆動車を含むイメージに関する情報を含む。

【0125】

通信部２４は、公衆通信網Ｎへの通信接続を実現する通信モジュールである。通信部２４は、有線接続のためのネットワークカードである。制御部２０は、通信部２４によって検出装置１との間で情報を送受信する。

【0126】

図１６および図１７は、第４実施形態における処理手順の一例を示すフローチャートである。スマートフォンである検出装置１を所持するユーザ、または検出装置１を所持する人力駆動車のメンテナンススタッフが、コンピュータプログラム１Ｐを起動させると、制御部１００は以下の処理を実行する。

【0127】

検出装置１の制御部１００は、人力駆動車の走行履歴に基づき、第１イメージの入力を使用者に促すための情報を、表示部１０４に出力する（ステップＳ４０１）。ステップＳ４０１の出力先は、表示部１０４に限られず、検出装置１が備える音声入出力部を用いて音声出力してもよい。

【0128】

制御部１００は、人力駆動車を含む第１イメージを受け付ける（ステップＳ４０３）。ステップＳ４０３において制御部１００は、撮像部１１２を起動させ、画像出力を受け付ける。あらかじめ撮像部１１２によって取得された第１イメージを記憶部１０２に記憶しておき、ステップＳ４０３において制御部１００が、選択された第１イメージを記憶部１０２から読み出すことによって第１イメージを受け付けてもよい。

【0129】

制御部１００は、受け付けた第１イメージを出力する（ステップＳ４０５）。ステップＳ４０５において制御部１００は、第１イメージを表示部１０４に表示させる。

【0130】

制御部１００は、受け付けた第１イメージを学習済みの学習モデル１Ｍに入力する（ステップＳ４０７）。第４実施形態における学習モデル１Ｍは、第１イメージの入力に応じて、消耗箇所を被検出消耗箇所として検出し、被検出消耗箇所に対応する識別情報および消耗度合を出力する。制御部１００は、学習モデル１Ｍから出力された消耗箇所の識別情報および消耗度合を取得する（ステップＳ４０９）。

【0131】

制御部１００は、取得した識別情報に対応する消耗箇所および消耗度合に関する消耗情報を、出力する（ステップＳ４１１）。ステップＳ４１１おいて制御部１００は、消耗箇所ごとの消耗情報を各々選択可能に表示部１０４に表示させる。制御部１００は、消耗箇所の消耗情報の選択を受け付ける（ステップＳ４１３）。

【0132】

制御部１００は、選択された消耗箇所の識別情報を含み、消耗箇所に関する関連情報の読み出し依頼を通信部１０８からサーバ装置２へ送信する（ステップＳ４１５）。

【0133】

サーバ装置２では、関連情報の読み出し依頼を通信部２４にて受信し（ステップＳ５０１）、制御部２０は、読み出し依頼に含まれる消耗箇所の識別情報に対応する消耗箇所に関する関連情報を記憶部２２から読み出す（ステップＳ５０３）。ステップＳ５０３において制御部２０は、記憶部２２に記憶されている消耗箇所に関する商品を購入するためのＷｅｂサイトへのアクセスするためのリンク情報を読み出してよい。制御部２０は、読み出した関連情報を検出装置１へ送信する（ステップＳ５０５）。

【0134】

検出装置１では、サーバ装置２から送信された関連情報を受信し（ステップＳ４１７）、制御部１００は、被検出消耗箇所の識別情報に対応する消耗箇所について関連情報を、出力する（ステップＳ４１９）。

【0135】

制御部１００は、被検出消耗箇所のいずれかの選択を受け付け（ステップＳ４２１）、選択された消耗箇所の関連情報の詳細を表示部１０４に出力する（ステップＳ４２３）。

【0136】

制御部１００は、選択された被検出消耗箇所に対する関連情報であるメニュー１４６によって登録操作を受け付ける（ステップＳ４２５）。制御部１００は、被検出消耗箇所の識別情報を、消耗度合に関する情報と対応付けて外部（サーバ装置２）に出力する（ステップＳ４２７）。制御部１００は、被検出消耗箇所の識別情報を、人力駆動車の使用者の識別情報と対応付けて外部（サーバ装置２）に出力する（ステップＳ４２９）。

【0137】

制御部１００は、入力された第１イメージを、人力駆動車の走行履歴と対応付けて外部（サーバ装置２）に出力する（ステップＳ４３１）。ステップＳ４３１において、制御部１００は、選択された被検出消耗箇所に対し、ステップＳ４０３で受け付けた第１イメージを、記憶部１０２に記憶してある人力駆動車の走行履歴と対応付けて外部（サーバ装置２）に出力する。

【0138】

制御部１００は、第１イメージを、人力駆動車の走行環境と対応付けて外部（サーバ装置２）に出力する（ステップＳ４３３）。ステップＳ４３３において、制御部１００は、選択された被検出消耗箇所に対し、ステップＳ５０３で受け付けた第１イメージを、記憶部１０２に記憶してある人力駆動車の走行環境と対応付けて外部（サーバ装置２）に出力する。

【0139】

ステップＳ４３１およびステップＳ４３３の処理手順は必須ではなく、いずれか一方のみ実施されてもよい。

【0140】

サーバ装置２では、被検出消耗箇所の識別情報と対応付けられた消耗度合に関する情報を受信し（ステップＳ５０７）、制御部２０は、被検出消耗箇所の識別情報および消耗度合に関する情報を記憶部２２に記憶する（ステップＳ５０９）。制御部２０は、使用者の識別情報と対応付けられた被検出消耗箇所の識別情報を受信し（ステップＳ５１１）、制御部２０は、被検出消耗箇所の識別情報を使用者の識別情報に対応付けて記憶部２２の使用者識別情報データベースＤＢ２に記憶する（ステップＳ５１３）。

【0141】

ステップＳ５１３にて制御部２０は関連情報との対応付けを記憶してもよい。この場合、制御部２０は、関連情報として消耗箇所に関する消耗品の購入サイトへのリンク情報を出力した場合、購入サイトにおける購入履歴および購入時期を使用者の識別情報と対応付けて記憶部２２の使用者識別情報データベースＤＢ２に記憶してよい。制御部２０は、消耗箇所の置換部品の交換時期を記憶部２２の使用者識別情報データベースＤＢ２に記憶してよい。制御部２０は、使用者向けに特化した関連情報として、購入履歴を反映させた関連情報を読み出して出力できる。

【0142】

制御部２０は、走行履歴と対応付けられた第１イメージを受信し（ステップＳ５１５）、走行環境と対応付けられた第１イメージを受信する（ステップＳ５１７）。制御部２０は、記憶部２２のイメージデータベースＤ３に、走行履歴と対応付けられた第１イメージを、使用者の識別情報と対応付けて記憶し（ステップＳ５１８）、走行環境と対応付けられた第１イメージを、使用者の識別情報と対応付けて記憶する（ステップＳ５１９）。制御部２０は、登録完了を検出装置１へ通知し（ステップＳ５２１）、処理を終了する。

【0143】

検出装置１では、登録通知を受信すると（ステップＳ４３５）、登録完了を表示部１０４に出力し（ステップＳ４３７）、処理を終了する。

【0144】

ステップＳ５１８において、走行履歴即ちどれほど人力駆動車が走行したのかの情報と対応付けて第１イメージがサーバ装置２で記憶される。ステップＳ５１８で記憶された情報は、どれほど消耗したかをユーザに知らせるために使用できる。ステップＳ５１８で記憶された情報は、消耗したり汚れたりした消耗箇所の第１イメージを、新品の同一箇所の第１イメージとは別に教師データとして用いて学習モデル１Ｍを再学習させるために使用してもよい。

【0145】

ステップＳ５１９において、走行環境即ちどのような環境で人力駆動車が走行したのかの情報と対応付けて第１イメージがサーバ装置２で記憶される。ステップＳ５１９で記憶された情報は、コンポーネントの第１イメージを走行環境別の教師データとして用いて学習モデル１Ｍを再学習させるために使用してもよい。

【0146】

第４実施形態では、サーバ装置２に関連情報が記憶されており、サーバ装置２から関連情報が読み出される構成として説明した。学習モデル１Ｍもサーバ装置２にて記憶され、検出装置１は学習モデル１Ｍから出力される識別情報の情報を取得して検出処理に用いてもよい。この場合、サーバ装置２で、複数の検出装置１から収集した第１イメージによって学習モデル１Ｍを更新し、より精度よく検出することが期待される

【0147】

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

【符号の説明】

【0148】

１…検出装置、１００…制御部、１０２…記憶部、１０４…表示部、１０６…操作部、１０８…通信部、１１０…入出力部、１１２…撮像部、１Ｐ…コンピュータプログラム、１Ｍ…学習モデル、２…サーバ装置、２０…制御部、２２…記憶部、２４…通信部、５…記憶媒体、５Ｐ…コンピュータプログラム、５Ｍ…学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】