(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023023487
(43)【公開日】2023-02-16
(54)【発明の名称】引越し費用見積りシステム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20230209BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021129065
(22)【出願日】2021-08-05
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
(71)【出願人】
【識別番号】521347321
【氏名又は名称】株式会社サンウエイ
(71)【出願人】
【識別番号】516078618
【氏名又は名称】DATUM STUDIO株式会社
(74)【代理人】
【識別番号】100100402
【弁理士】
【氏名又は名称】名越 秀夫
(74)【代理人】
【識別番号】100094536
【弁理士】
【氏名又は名称】高橋 隆二
(74)【代理人】
【識別番号】100129805
【弁理士】
【氏名又は名称】上野 晋
(74)【代理人】
【識別番号】100189315
【弁理士】
【氏名又は名称】杉原 誉胤
(72)【発明者】
【氏名】▲高▼嶋 民仁
(72)【発明者】
【氏名】君島 秀幸
(72)【発明者】
【氏名】國元 孝臣
(72)【発明者】
【氏名】十倉 淳
(72)【発明者】
【氏名】佐藤 英明
(72)【発明者】
【氏名】武智 壮平
(72)【発明者】
【氏名】真嘉比 愛
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC11
(57)【要約】
【課題】ユーザの簡単な作業により、引越しの見積り金額を算出する引越し費用見積りシステムを提供する。
【解決手段】ユーザ端末UTにネットワークNWを介して接続されているサーバ装置1を備えた引越し費用見積りシステムであって、ユーザ端末UTから引越し元の建物・室内を撮影した室内画像の入力を受け付ける情報提供部と、引越しの際に運搬する物体の物体名称及びそのサイズ情報を推定する荷物量推定部20と、物体名称毎に、物体のサイズ情報を対応付けた物体データベース50とを備え、荷物量推定部20は、受け付けた室内画像に対する物体認識処理を実施して物体名称を認識する物体認証部21と、認識した物体名称と物体データベース50を用いて物体名称に対応する物体のサイズ情報を特定するサイズ推定部22とを有し、情報提供部10は、認識した物体名称及び物体のサイズ情報を用いて引越しの見積り金額を算出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザ端末にネットワークを介して接続されているサーバ装置を備えた引越し費用見積りシステムであって、
前記サーバ装置は、
前記ユーザ端末に引越し情報を提示するWebページを提供すると共に、該Webページ上で、引越し元の建物・室内を撮影した室内画像の入力を受け付ける情報提供部と、
前記受け付けた室内画像を用いて、引越しの際に運搬する物体の物体名称及びそのサイズ情報を推定する荷物量推定部と、
物体名称毎に、物体のサイズ情報を対応付けて記憶している物体データベースとを備え、
前記室内画像には、引越しの際に運搬する対象となる物体が写り込んでおり、
前記荷物量推定部は、
前記受け付けた室内画像に対する物体認識処理を実施することにより物体名称を推定して認識する物体認証部と、
前記認識された物体名称と前記物体データベースを用いて物体名称に対応する物体のサイズ情報を特定するサイズ推定部とを有し、
前記情報提供部は、前記認識された物体名称及び物体のサイズ情報を用いて引越し費用見積り金額を算出し、前記ユーザ端末に該引越し費用見積り金額が提示されているWebページを提供することを特徴とする引越し費用見積りシステム。
【請求項2】
前記荷物量推定部は、前記受け付けた室内画像に対する深度推定処理を実施して該室内画像に写り込んでいる物体の深度情報を推定する深度推定部を有し、
前記サイズ推定部は、
前記認識された物体名称のうち、前記物体データベースに登録されている物体名称の物体については、該物体データベースの記憶内容に基づいてサイズ情報を特定し、
前記認識された物体名称のうち、前記物体データベースに登録されていないサイズが特定されない物体名称の物体については、前記サイズ情報が特定された物体名称の一つを基準物体に認定し、前記サイズが特定されていない物体名称の物体に対応する深度情報と、前記基準物体のサイズ情報及び深度情報とを用いて、前記サイズが特定されていない物体のサイズを推定することを特徴とする請求項1に記載の引越し費用見積りシステム。
【請求項3】
前記物体認識部は、画像に対して写り込んでいる物体名称とその領域情報をラベリングした物体認識・学習用データを機械学習させた学習済み物体認識ディープラーニングモデルにより構成されていることを特徴とする請求項1又は2に記載の引越し費用見積りシステム。
【請求項4】
前記深度推定部は、2つ以上のカメラを用いて物体を撮影した物体画像と、その物体画像から計測された深度情報とを組み合わせた深度推定・学習用データを機械学習させた学習済み深度推定ディープラーニングモデルにより構成されていることを特徴とする請求項2又は3に記載の引越し費用見積りシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、引越し費用見積りシステムに関し、例えば、引越しを希望するユーザの建物・室内を撮影した室内画像を取得し、その取得した室内画像から引越しの見積り金額を算出する引越し費用見積りシステムに関する。
【背景技術】
【0002】
従来から、引越し業者の見積り業務を軽減させるためのシステムが提案されている。
例えば、特許文献1には、引越しを依頼したいユーザが自宅等のPC(ユーザ端末)から、プラン選定情報、住所情報(引越元住所、引越先住所)、運搬を希望する家財情報等の各種情報の入力を受け付け、その受け付けた情報を用いて、引越し費用を算出し、ユーザ端末に算出した引越し費用を提供するサーバを備えた引越業務支援システムが開示されている。
【0003】
具体的には、特許文献1に記載の引越業務支援システムでは、サーバが、ユーザ端末から受け付けた住所情報(引越元住所、引越先住所)から「距離及びルート」を算出する。また、サーバが受け付けた家財情報と、予め記憶している「各家財の容積を対応付けた容積データベース」から「家財の総容積」を算出する。
また、サーバは、受け付けたプランに対応する基本料金と、「距離及びルート」に対応する距離料金と、「家財の総容積」とを用いて、家財の積み下ろしにかかる「時間」を算出する。その後、サーバは、算出した「時間」に単位時間当たりコストを乗算して引越作業に係る料金(引っ越し費用)を算出し、ユーザ端末に提供する。
【0004】
特許文献1に記載の引越業務支援システムは、引越しを依頼したいユーザ自身が自宅等のPC等を操作することで引越し費用を知ることができる。また、引越し業者は、ユーザの家まで訪問する必要がなくなり、その業務負担が軽減される。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した従来技術の引越業務支援システムは、引越しを希望しているユーザが、サーバから提供される画面上で、運搬を希望する家財の品目を選択して、且つその大きさ(サイズ情報)を入力していく必要があり、その作業に時間がかかるという課題を有している。また、従来技術の引越業務支援システムでは、業者ではない不慣れなユーザが、運搬を希望する家財の品目や大きさを入力する際、入力ミスをすることが多く、その結果、正確な引越しを算出できないという問題が発生していた。
【0007】
本発明は上記課題に鑑みてなされたものであって、その目的は、引越しを希望しているユーザの簡単な作業により、引越し費用の見積り金額を算出することができる引越し費用見積りシステムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するためになされた本発明は、ユーザ端末にネットワークを介して接続されているサーバ装置を備えた引越し費用見積りシステムであって、前記サーバ装置は、前記ユーザ端末に引越し情報を提示するWebページを提供すると共に、該Webページ上で、引越し元の建物・室内を撮影した室内画像の入力を受け付ける情報提供部と、前記受け付けた室内画像を用いて、引越しの際に運搬する物体の物体名称及びそのサイズ情報を推定する荷物量推定部と、物体名称毎に、物体のサイズ情報を対応付けて記憶している物体データベースとを備え、前記室内画像には、引越しの際に運搬する対象となる物体が写り込んでおり、前記荷物量推定部は、前記受け付けた室内画像に対する物体認識処理を実施することにより物体名称を推定して認識する物体認証部と、前記認識された物体名称と前記物体データベースを用いて物体名称に対応する物体のサイズ情報を特定するサイズ推定部とを有し、前記情報提供部は、前記認識された物体名称及び物体のサイズ情報を用いて引越し費用見積り金額を算出し、前記ユーザ端末に該引越し費用見積り金額が提示されているWebページを提供することを特徴とする。
【0009】
このように、本発明によれば、ユーザは、例えば、スマートフォンで構成されたユーザ端末のカメラ機能で、引越し元の建物・室内にある「引越しのときに運搬を希望する物体(家財)」を撮影し、サーバ装置が提供するWebページにアップロードすれば良く、上述した従来技術の引越業務支援システムのように、サーバから提供される画面上で、運搬を希望する家財の品目を選択し、且つその大きさを入力していく必要がない。その結果、本発明によれば、ユーザは、運搬を希望する家財の品目や大きさの入力ミスをすることがなく、簡単な操作により、正確な引越しの見積り金額を知ることができる。
【0010】
前記荷物量推定部は、前記受け付けた室内画像に対する深度推定処理を実施して該室内画像に写り込んでいる物体の深度情報を推定する深度推定部を有し、前記サイズ推定部は、前記認識された物体名称のうち、前記物体データベースに登録されている物体名称の物体については、該物体データベースの記憶内容に基づいてサイズ情報を特定し、前記認識された物体名称のうち、前記物体データベースに登録されていないサイズが特定されない物体名称の物体については、前記サイズ情報が特定された物体名称の一つを基準物体に認定し、前記サイズが特定されていない物体名称の物体に対応する深度情報と、前記基準物体のサイズ情報及び深度情報とを用いて、前記サイズが特定されていない物体のサイズを推定することが望ましい。
【0011】
この構成によれば、物体データベースに登録されていない物体名称の物体についても、サイズ情報を推定することができる。すなわち、本発明によれば、例えば、特注の家具(テーブル等)が部屋画像に写り込んでいる場合にも、そのサイズ情報を推定することができ、引越し費用の見積り金額を算出することができる。
【0012】
また、前記物体認識部は、画像に対して写り込んでいる物体名称とその領域情報をラベリングした物体認識・学習用データを機械学習させた学習済み物体認識ディープラーニングモデルにより構成されていることが望ましい。
【0013】
また、前記深度推定部は、2つ以上のカメラを用いて物体を撮影した物体画像と、その物体画像から計測された深度情報とを組み合わせた深度推定・学習用データを機械学習させた学習済み深度推定ディープラーニングモデルにより構成されていることが望ましい。
【発明の効果】
【0014】
本発明によれば、引越しを希望しているユーザの簡単な作業により、引越しの見積り金額を算出することができる引越し費用見積りシステムを提供することができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の実施形態の引越し費用見積りシステムの構成を示した模式図である。
【
図2】本発明の実施形態の引越し費用見積りシステムを構成する荷物量推定部の機能構成を示した模式図である。
【
図3】本発明の実施形態の引越し費用見積りシステムを構成する物体データベースのデータ構造の一例を示した模式図である。
【
図4】本発明の実施形態の引越し費用見積りシステムが行う室内画像から引越しの際に運搬する物体名称及びサイズ情報を推定する処理の手順を示したフローチャートである。
【
図5】本発明の実施形態の引越し費用見積りシステムが行う室内画像から引越しの際に運搬する物体名称及びサイズ情報を推定する処理の手順を示したフローチャートである。
【
図6】本発明の実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成する見積りの種類を受け付けるWebページを示した模式図である。
【
図7】本発明の実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成するWebページ示した模式図であり、室内画像から推定した引越しの際に運搬する物体名称をリスト表示したWebページを示している。
【
図8】本発明の実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成するWebページ示した模式図であり、引越し時期、住所情報、付帯作業情報の入力を受け付けるWebページを示している。
【
図9】本発明の実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成するWebページ示した模式図であり、引越し費用見積り金額を提示したWebページを示している。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態の引越し費用見積りシステムについて図面を用いて説明する。
【0017】
先ず、本発明の実施形態の引越し費用見積りシステムの概略について
図1を用いて説明する。
ここで、
図1は、本実施形態の引越し費用見積りシステムの構成を示した模式図である。
【0018】
《システムの概略》
図1に示すように、本実施形態の引越し費用見積りシステムは、インターネット等のネットワークNWを介してユーザ端末UTからのアクセス要求に応じて、引越し情報を提供するサーバ装置(以下、単に「サーバ」)1を備えている。
サーバ1は、物体名称(引越しの際に運搬するテレビやベッド等の物体(家財)の名称)毎に、物体カテゴリー、物体のサイズ情報及び物体画像情報を対応付けて記憶している物体データベース50(
図3参照)を備えている。
【0019】
サーバ1は、引越しを希望するユーザが操作するユーザ端末UTに対して、引越し費用見積り情報を提示するWebサイトを提供し、Webサイトを構成するWebページ上で、ユーザ端末UTから、引越し元となる建物・室内を撮影した画像(室内画像)を受け付ける(受信する)。この室内画像には、引越しの際に運搬する物体(テレビ、ベット、冷蔵庫、ソファ等の物体)が撮影されて写り込んでいる。
【0020】
そして、サーバ1は、ユーザ端末UTから受信した室内画像に対して物体認識処理を実施し、室内画像にある物体(テレビ、ベット等の物体)の物体名称を推定して認識する。
また、サーバ1は、認識された物体名称(物体)毎に、それが物体データベース50に登録されている物体名称(物体)であるか否かを判定する。また、サーバ1は、認識された物体のうち、物体データベース50に登録されている物体名称(物体)については、物体データベース50の記憶内容に基づいてサイズ情報を特定する。
なお、サーバ1が認識した物体のうち、物体データベース50に登録されていない物体は、物体データベース50の記憶内容からサイズ情報を特定できない。
【0021】
そのため、サーバ1は、物体データベース50に登録されていない「サイズが特定されていない物体」について、取得した室内画像を用いた深度推定処理により推定された物体の深度情報を利用して、サイズ情報を推定する。
具体的には、サーバ1は、サイズ情報が特定された物体のなかから基準物体を選定し、サイズが特定されていない物体について、その深度情報と、基準物体のサイズ情報及び深度情報とを用いて、物体のサイズ情報を推定する。これにより、物体認識処理により認識された全ての物体のサイズが特定され、引越しで運搬する対象の物体(家財)について、物体毎にサイズ情報を対応付けた家財情報が得られる。
【0022】
また、サーバ1は、ユーザ端末UTから住所情報(現住所、引越し先住所等の住所情報)や付帯作業情報(エアコン設置工事の有無等の付帯作業情報)等の入力を受け付け、受け付けた住所情報や付帯作業情報と、受信した室内画像から推定した家財情報とを用いて、引越し費用見積り金額を算出する。また、サーバ1は、算出した引越し費用見積り金額が提示されたWebページを生成し、ユーザ端末UTに対して、引越し費用見積り金額が提示されたWebページを提供する。
【0023】
このように、本実施形態の引越し費用見積りシステムでは、ユーザが、例えば、スマートフォンで構成されたユーザ端末UTのカメラ機能で、引越し元の建物・室内にある「引越しのときに運搬を希望する物体(家財)」を撮影する。そして、ユーザは、ユーザ端末UTを操作して、サーバ1が提供するWebサイトにアクセスして、Webサイト上に、カメラ機能で撮影した画像(室内画像)をアップロードすると共に、住所情報(現住所、引越し先住所等の住所情報)等の必要情報を入力することで、Webサイト上で、引越しの見積り金額が提示される。
すなわち、本実施形態によれば、上述した従来技術の引越業務支援システムのように、ユーザが、サーバから提供される画面上で、運搬を希望する家財の品目を選択し、且つその大きさを入力していく必要がなく、簡単な操作をするだけで、引越しの見積り金額を知ることができる。その結果、本実施形態によれば、ユーザが、運搬を希望する家財の品目や大きさの入力ミスをすることがない。
【0024】
《サーバ1の構成》
次に、本実施形態の引越し費用見積りシステムのサーバ1の構成について、上述した
図1と、
図2、3を参照しながら説明する。
なお、
図2は、本実施形態の引越し費用見積りシステムを構成する荷物量推定部の機能構成を示した模式図である。
図3は、本実施形態の引越し費用見積りシステムを構成する物体データベースのデータ構造の一例を示した模式図である。
【0025】
サーバ1は、ユーザ端末UTに引越し情報を提示するWebサイトを構成するWebページを提供すると共に、Webページ上で引越し元の建物・室内を撮影した室内画像の入力を受け付ける情報提供部10と、受け付けた室内画像を用いて引越しの際に運搬する物体の物体名称及びそのサイズ情報を推定する荷物量推定部20と、物体情報(物品名称、物品(家財)のサイズ情報、物品の画像等を含む物体情報)を取得する物体情報取得部30と、物体データベース50を記憶している記憶部40とを有している。
【0026】
また、サーバ1のハードウェア構成について特に限定されるものではない。例えば、サーバ1は、CPU、主記憶装置、補助記憶装置、I/Oインターフェイス及び通信インターフェイスを有する情報処理装置(1台或いは複数台の情報処理装置)を用いることができる。この場合、補助記憶装置に、「情報提供部10、荷物量推定部20及び物体情報取得部30」の機能を実現するためのプログラムが記憶されている。また、補助記憶装置の所定領域が記憶部40になっている。そして、「情報提供部10、荷物量推定部20及び物体情報取得部30」の機能は、CPUが補助記憶装置に記憶されているプログラムを主記憶装置にロードして実行することにより実現される。
【0027】
情報提供部10は、ユーザ端末UTからのアクセス要求に応じて、ユーザ端末UTに対してWebサイトを構成するWebページ(例えば、
図6~9示すWebページ)を提供する。また、情報提供部10は、Webページ上で、ユーザ端末UTを操作するユーザに対して、引越しの際に運搬を希望する物体が写る写真(室内画像)の撮影を促す。また、情報提供部10は、ユーザ端末UTに対して、サーバ1に室内画像の送信を促し(Webサイト上に室内画像をアップロードさせて)、ユーザ端末UTから送信された室内画像を受信する。
また、情報提供部10は、Webページ上で、ユーザ端末UTから「住所情報(現住所、引越し先住所等の住所情報)や付帯作業情報(エアコン設置工事の有無等の付帯作業情報)」の入力を受け付ける。
【0028】
また、情報提供部10は、付帯作業情報の入力を受け付けなかった場合には、荷物量推定部20が推定した家財情報(引越しで運搬する対象の物体と、その物体のサイズ情報)と、受け付けた住所情報とを用いて引越し費用見積り金額を算出する。また、情報提供部10は、付帯作業情報の入力を受け付けた場合には、家財情報、住所情報及び付帯作業情報を用いて、引越し費用見積り金額を算出する。
また、情報提供部10は、算出した引越し費用見積もり金額が提示されているWebページを生成し、ユーザ端末UTに対して生成したWebページを提供する。
【0029】
なお、情報提供部10が行う「引越し費用見積り金額を算出する処理」は、周知技術であるため詳細な説明を省略する。
例えば、情報提供部10は、引越し基本料金と、「家財及びサイズ情報」毎に荷物料金を対応付けた荷物料金表と、引越し距離毎に移動距離料金を対応付けた移動距離料金表と、付帯作業毎に付帯作業料金を対応付けた付帯作業料金表とを保持している(記憶部40に、基本料金、荷物料金表、移動距離料金表及び付帯作業料金表を記憶している)。
【0030】
情報提供部10は、荷物量推定部20が推定した家財情報と、荷物料金表とを用いて、荷物料金を算出する。また、情報提供部10は、受け付けた住所情報から「移動距離」を算出し、算出した移動距離及び移動距離料金表から移動料金を特定する。また、情報提供部10は、受け付けた付帯作業情報及び付帯作業料金表から付帯作業料金を特定する。
そして、情報提供部10は、引越し基本料金と、算出した荷物料金と、特定した移動距離料金と、特定した付帯作業料金とを加算して、引越し費用見積り金額を算出する。
なお、上記の引越し費用見積り金額を算出する処理は、あくまでも一例である。「家財及びサイズ情報」を用いて引越し費用見積り金額を算出する以外の算出処理は、引っ越し業者毎に設定される。
【0031】
荷物量推定部20は、情報提供部10が受信した室内画像と、物体データベース50を用いて、室内画像に写り込んでいる物体の名称とサイズ情報を推定し、物体毎にサイズを対応付けた家財情報を生成する。
具体的には、
図2に示すように、荷物量推定部20は、室内画像から物体認識処理を行う物体認識部21と、物体のサイズ推定を行う物体同定・サイズ推定部22と、室内画像から物体の深度を推定する深度推定部23とを有している。
【0032】
物体認識部21は、画像に対して写り込んでいる物体名称(テレビ〇〇型、椅子、シングルベッド)とその領域情報をラベリングした学習用データ(物体認識・学習用データ)を機械学習させた学習済みモデル(学習済み物体認識ディープラーニングモデル)により構成されている。
この学習用データ(物体認識・学習用データ)は、例えば、アノテーションツールを利用して作成することができる。例えば、「COCO Annotator」を利用した学習データセットの作成の例は、インターネット上の下記Webサイト(https://github.com/jsbroks/coco-annotator)に開示されている。
【0033】
なお、本実施形態では、サーバ1の運用者が、事前に、物体認識ディープラーニングモデルに対して大量の物体認識・学習用データを機械学習させ、サーバ1に学習済み物体認識ディープラーニングモデルが設定された状態にしている。
この学習済み物体認識ディープラーニングモデルは、写真(本実施形態では室内画像)が入力されると、写真に写り込んでいる物体の領域及び物体名称(テレビ〇〇型、椅子、シングルベッド等の名称)を推定する。
【0034】
物体認識部21は、情報提供部10が取得した室内画像(ユーザ端末UTから送信された室内画像)を学習済みモデル(学習済み物体認識ディープラーニングモデル)に入力する物体認識処理を行い、室内画像内にある物品(物品名称)を推定する。学習済みモデル(学習済み物体認識ディープラーニングモデル)が推定した物体名称(テレビ42型、シングルベッド等の物体名称)は、物体同定・サイズ推定部22に送信される。
【0035】
物体同定・サイズ推定部22は、物体認識部21から物体認識処理により得られた物体名称を取得する。また、物体同定・サイズ推定部22は、物体データベース50にアクセスして、物体認識部21で推定された物体名称(物体)毎に、物体データベース50に登録されている物体であるか否かを判定する。
そして、物体同定・サイズ推定部22は、推定された物体名称(物体)のうち、物体データベース50(
図3参照)に登録されていると判定された物体については、物体データベース50に登録内容に基づいてサイズ情報を特定する。
【0036】
また、物体同定・サイズ推定部22は、認識された物体のうち、物体データベース50に登録されていないと判定された物体(サイズが特定されていない物体)については、以下のようにしてサイズ情報を推定する。
具体的には、物体同定・サイズ推定部22は、サイズ情報が特定された物体のなかから基準物体を選定する。また、物体同定・サイズ推定部22は、深度推定部23から物体毎の深度情報を取得する。
また、物体同定・サイズ推定部22は、サイズ情報が特定されていない物体について、対応する深度情報と、基準物体のサイズ情報及び深度情報とを用いて、サイズが特定されていない物体のサイズ情報を推定する。これにより、物体認識処理により推定された全物体のサイズ情報が推定される。
物体同定・サイズ推定部22は、引越し費用見積り金額を算出するためのデータとして、物体認識処理により認識された物体(家財)毎にサイズ情報を対応付けた家財情報を生成する。
【0037】
深度推定部23は、S2で認識された各物体(物体名称)について、取得した室内画像を用いた深度推定処理を実施し、S2で認識された各物体(室内画像に写り込んでいる各物体)の深度情報(基準位置(カメラの位置)から各物体までの距離)を算出(推定)する。これにより、物体名称及びその深度情報が推定される。
具体的には、深度推定部23は、2つ以上のカメラを用いて物体を撮影した物体画像と、その物体画像から計測された深度情報とを組み合わせた学習用データ(深度推定・学習用データ)を機械学習させた学習済みモデル(学習済み深度推定ディープラーニングモデル)により構成されている。
なお、2つ以上のカメラで撮影した物体画像から深度情報を計測するアプリケーションプログラムとして、例えば、「DepthCam」が知られており、インターネット上の下記のWebサイト(https://www.brainfevermedia.com/depthCam.html)で紹介されている。
【0038】
なお、本実施形態では、サーバ1の運用者が、事前に、深度推定ディープラーニングモデルに対して大量の深度推定・学習用データを機械学習させ、サーバ1に学習済み深度推定ディープラーニングモデルが設定された状態にしている。
学習済み深度推定ディープラーニングモデルは、写真(本実施形態では室内画像)が入力されると、写真に写り込んでいる各物体の深度情報(基準位置(カメラの位置)から各物体までの距離)を算出(推定)する。
【0039】
深度推定部23は、情報提供部10が取得した室内画像(ユーザ端末UTから送信された室内画像)を学習済みモデル(学習済み深度推定ディープラーニングモデル)に入力する深度推定処理を行い、物体毎の深度情報を推定する。深度推定部23は、物体同定・サイズ推定部22に、深度推定処理により得られた深度情報を送信する。
【0040】
物体情報取得部30は、インターネットのWebサイト上から様々な物体とそのサイズ情報を自動収集し、物体データベース40に登録するように構成されている。
なお、物体情報取得部30は、上記の自動収集をする際に、物体の画像(物体画像情報)も合わせて収集して、収集した物体に物体カテゴリーを割り当て、物体名称に、物体カテゴリー、サイズ情報及び物体画像情報を対応付けて、物体データベース40に記憶させる。
【0041】
次に、サーバ1の記憶部40に記憶されている物体データベース50の構成について説明する。
図3に示すように、物体データベース50は、「物体名称」を登録するためのフィールド50aと、「物体カテゴリー」を登録するためのフィールド50bと、「物体のサイズ情報」を登録するためのフィールド50cと、物体画像情報を登録するためのフィールド50dとを備えたレコード(複数のレコード)により構成されている。
すなわち、物体データベース50は、「物体名称」に、「物体カテゴリー」、「サイズ情報」及び「物体画像情報」を対応付けて記憶している。
【0042】
ここで、フィールド50aに登録される「物体名称」は、「テレビ43型」、「冷蔵庫540l」、「シングル脚付きマットレス」等の物体の名称を示す情報でる。
フィールド50bに登録される「物体カテゴリー」は、「テレビ」、「冷蔵庫」、「シングルベッド」等の物体カテゴリーを示す情報である。
フィールド50cに登録される「サイズ情報」は、物品のサイズ寸法(幅、高さ、奥行)と、物品の重量を示す情報である。
フィールド50dに登録される「物体画像情報」は、物体を撮影した画像情報である。
【0043】
《ユーザ端末UTの構成》
ユーザ端末UTは、引越しを検討するユーザが操作する情報処理装置であり、例えば、スマートフォンやパソコン(PC)により構成されている。
ユーザ端末UTがスマートフォンの場合、スマートフォンのカメラ機能により、引越しの際に運搬する物体(家財)の写真(室内画像)を撮影すればよい。
一方、ユーザ端末UTがパソコンの場合、別体のデジタルカメラにより引越しの際に運搬する物体(家財)の写真(室内画像)を撮影し、撮影して得られた写真(室内画像)をパソコンに取り込んだ上で、サーバ1にアクセスすれば良い。
【0044】
《引越し費用見積り処理》
次に、引越し費用見積りシステムによる引越し費用見積り処理について、
図4~9を参照しながら説明する。
なお、以下の説明では、ユーザ端末UTが、カメラ機能付きのスマートフォンである場合を例にする。
【0045】
ここで、
図4、5は、本実施形態の引越し費用見積りシステムが行う室内画像から引越しの際に運搬する物体名称及びサイズ情報を推定する処理の手順を示したフローチャートである。
図6は、本実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成する見積りの種類を受け付けるWebページを示した模式図である。
図7は、本実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成するWebページ示した模式図であり、室内画像から推定した引越しの際に運搬する物体名称をリスト表示したWebページを示している。
図8は、本実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成するWebページ示した模式図であり、引越し時期、住所情報、付帯作業情報の入力を受け付けるWebページを示している。
図9は、本実施形態の引越し費用見積りシステムがユーザ端末に提示するWebサイトを構成するWebページ示した模式図であり、引越し費用見積り金額を提示したWebページを示している。
【0046】
サーバ1の情報提供部10は、引越しを検討しているユーザが操作しているユーザ端末UTからのアクセス要求を受け付けると、
図6に示すような、「引越し費用見積りの種別」を選択するWebページ100を生成し、ユーザ端末UTにWebページ100を提供する。
【0047】
図示するWebページ100には、自動お見積りを受け付けるためのボタン101と、リモートお見積りを受け付けるためのボタン102と、訪問お見積りを受け付けるためのボタン103とが設けられている。
なお、本実施形態は、サーバ1がボタン101がクリックされた場合に提供する「自動お見積り」の処理に特徴が有り、ボタン102、103で受け付ける処理内容は既存のものと同じである。そのため、以下では、Webページ100上で、ボタン101がクリックされた場合の自動お見積り処理について説明し、ボタン102、103で受け付ける処理の内容は省略する。
【0048】
ユーザ端末UTがWebページ100上のボタン101を選択すると、サーバ1の情報提供部10に、自動お見積り要求が送信される。
サーバ1の情報提供部10は、自動お見積り要求を受信すると、引越しする際に運搬するテレビやベッド等の物体(家財)を撮像して、サーバ1にアップロードすることを促す画像アップロード用のWebページ(図示せず)を生成し、ユーザ端末UTに画像アップロード用のWebページを提供する。
【0049】
ユーザは、ユーザ端末UTに表示された画像アップロード用のWebページに提示されている案内文にしたがい、引越しする際に運搬するテレビやベッド等の物体を撮像する。また、ユーザは、ユーザ端末UTを操作して、画像アップロード用のWebページに、撮像して得られた室内画像をアップロードする(送信する)。
その後、
図4、5に示すように、サーバ1がアップロードされた室内画像を用いて、物体名称及びサイズ情報を推定する処理を行う。
なお、通常は、複数の室内画像(部屋の画像、台所の画像等)が撮影されて、サーバ1にアップロードされることになるが、説明を簡略化するために、1枚の室内画像の処理についてだけ説明する。
【0050】
具体的には、
図4に示すように、サーバ1の情報提供部10は、ユーザ端末UTから送信された室内画像を取得(受信)すると(S1)、荷物量推定部20が行うS2の処理に移行する。
【0051】
S2では、サーバ1の荷物量推定部20が、S1で取得した室内画像を用いた物体認識処理を実施して、室内画像に映っている物体(物体名称)を取得する。
具体的には、S2では、荷物量推定部20の物体認識部21(学習済み物体認識ディープラーニングモデル)に、S1で取得した室内画像を入力すると、物体認識部21が、室内画像に映っている物体名称を推定し認識して、認識した物体名称(物体)を出力する。ここでは、複数(n個)の物体名称(物体)が認識されたものとする。
【0052】
次に、荷物量推定部20は、認識された物体名称(物体)毎に、物体データベース50(
図3参照)を用いたサイズを特定する処理を行う(S3~S6)。S3~S6の処理は、複数(n個)の物体について、物体データベース50を用いたサイズを特定する処理が終了するまで繰り返し行われる。複数(n個)の物体についての処理が終了すると、
図5のS7の処理に移行する。
【0053】
具体的には、荷物量推定部20の物体同定・サイズ推定部22が、S2で認識したn(k=1、2、・・・、n)個の物体のうちの「k=1」の物体を選定し(S3)、S3で選定した物体名称(物体)が物体データベース50に存在するか否かを判定する(S4)。
本ステップ(S4)では、荷物量推定部20の物体同定・サイズ推定部22は、S3で選定した物体名称が物体データベース50に存在する場合には、S5の処理に進み、S3で選定した物体名称が物体データベース50に存在しない場合には、S3の処理に戻る。
【0054】
なお、S3の処理に戻った場合、物体同定・サイズ推定部22は、「kに1を加えた」次の物体を選定し(S3)、S4の処理に移行する。
【0055】
S5では、物体同定・サイズ推定部22は、物体データベース50を参照し、S3で選定した物体名称に対応するサイズ情報を取得する。例えば、S3で選定した物体が「テレビ43型」の場合、物体データベース50を参照して、「テレビ43型」が登録されているレコードからサイズ情報(97×57×6~100×60×10(cm)、9~12kg)を読み出して取得する。
【0056】
S6では、物体が「k=n」番目になると、物体データベース50を用いたサイズ情報を特定する処理を終了して、
図5のS7の処理に移行する。
なお、S4において、物体データベース50に存在しないと判定された物体名称の物体は、物体自体は認識されているもののサイズ情報が判明していない物体になっている。
【0057】
S7では、物体同定・サイズ推定部22は、S2で認識された物体名称(物体)のサイズが全て判明しているか否かを判定し、全て判明している場合には処理を終了し、全て判明していない場合には、S8の処理に進む。
なお、本ステップ(S7)において、認識された物体名称(物体)のサイズが全て判明している場合とは、S4の処理において、認識された物体名称(物体)の全てが(ここでは、n個の物体が)、物体データベース50に存在していた場合である。
【0058】
S8では、荷物量推定部20の深度推定部23が、S1で取得した室内画像を学習済みモデル(学習済み深度推定ディープラーニングモデル)に入力する深度推定処理を行い、S2で認識された各物体(物体名称)について、物体毎の深度情報を推定し、S9の処理に進む。
【0059】
S9では、荷物量推定部20の物体同定・サイズ推定部22が、S2で認識された物体名称(物体)のうち、物体データベース50にマッチした物体が1以上存在するか否かを判定し、存在する場合にはS11の処理に進み、存在しない場合にはS10の処理に進む。
なお、S2で認識された物体名称(物体)のうち、物体データベース50にマッチした物体が1以上存在しない場合とは、S4の判定において、n個の物体名称(物体)が全て、物体データベース50に存在しなかった場合である。
【0060】
S10では、物体同定・サイズ推定部22が、S2で認識された物体(ここではn個全ての物体のサイズが判明していない)のうち、サイズブレが少ない物体を1つ選択し、その平均サイズを物体のサイズとして認定する。
なお、物体同定・サイズ推定部22には、予め、サイズブレが少ない物体として、例えば、ダイニングテーブル、一人用ソファ等の物体(複数の物体)と、その物体の平均サイズが登録されている物体リストが設定(記憶)されている。物体同定・サイズ推定部22は、前記物体リストを参照して、物体のサイズが判明していない物体のなかから、サイズブレが少ない物体を1つ選択し、その平均サイズを物体のサイズとして認定する。
【0061】
S11では、物体同定・サイズ推定部22が、サイズ情報を持った物体(サイズ情報が判明している物体)の一つを基準物体として認定し、S12~S14の処理に進む。なお、S10の処理を行っている場合には、S10で選択された物体が基準物体となる。
【0062】
S12~S14では、物体同定・サイズ推定部22が、サイズ情報(サイズ)が判明していない物体名称(物体)毎に、その物体名称の物体の「深度情報」及び「基準物体のサイズ情報及び深度情報」から、サイズ情報が判明していない物体のサイズ情報を推定する。
S12~S14では、物体同定・サイズ推定部22が、サイズ情報が判明していない複数の物体名称(物体)の全てについて、その物体の「深度情報」及び「基準物体のサイズ情報及び深度情報」からサイズ情報を推定する処理を行う。例えば、サイズ情報が判明していない物体がm個ある場合、m個の物体ののサイズ情報を推定する処理が終了するまで、S12~S14の処理が繰り返される。
そして、サイズ情報が判明していない物体のサイズが全て処理されると
図4、5に示す処理工程を終了する。
【0063】
荷物量推定部20の物体同定・サイズ推定部22は、
図4、5の処理を終えると、引越し費用見積り金額の算出するためのデータとして、物体認識処理により認識された物体名称(物体)毎にサイズ情報を対応付けた家財情報を生成する。
【0064】
その後、情報提供部10は、
図4のS1で受け付けた室内画像と、物体認識処理により認識された物体名称(物体)毎にサイズ情報を対応付けた家財情報とを用いて、
図7に示すような、引越し家財をリストが提示されたWebページ110を生成し、ユーザ端末UTにWebページ110を送信する。
【0065】
図7に示すWebページ110には、ユーザが撮影してサーバ1に送った室内画像が提示されている領域111と、室内画像から推定した物体名称(物体)のリスト(物品名称と個数を示したリスト)が提示されている領域115とが設けられている。
ユーザは、ユーザ端末UTのWebページ110を見て、引越しの際に運搬する家財の内容を確認することができる。
【0066】
また、Webページ110には、追加ボタン112と、削除ボタン113と、OKボタン114とが設けられており、ユーザがユーザ端末UTを操作することで、領域111に提示されたリストの物体名称(物体)の追加や削除ができるようになっている。
また、ユーザは、Webページ110の領域115のリストの内容に問題が無ければ、ユーザ端末UTを操作してOKボタン114をクリックすると、サーバ1の情報提供部10に引越しの際に運搬する家財についての問題無い旨の了解信号が送信される。
【0067】
サーバ1の情報提供部10は、上記の了解信号を受信すると、
図8に示す、引越し時期、住所情報及び付帯作業情報の入力を受け付けるWebページ120を生成し、ユーザ端末UTにWebページ120を送信する。
【0068】
図示するWebページ120には、引越し時期の入力欄121と、引越しの際に運搬する物体名称(家財)リストの表示欄122と、住所情報入力欄123と、付帯作業情報入力欄124と、お見積りボタン125とが設けられている。
【0069】
ユーザは、ユーザ端末UTを操作して、Webページ120上で、引越し時期及び住所情報を入力すると共に、必要に応じて付帯作業情報を入力し、お見積りボタン125をクリックすると、サーバ1の情報提供部10に、「引越し時期の入力欄121に入力された引越し時期と、住所情報入力欄123に入力された住所情報と、付帯作業情報入力欄124に入力された付帯作業情報(何も入力されていない場合はNULL)とが含まれている見積り作成要求が送信される。
【0070】
サーバ1の情報提供部10は、ユーザ端末UTからの見積作成要求を受け付けると、引越し費用見積り金額を算出する処理を行う。
具体的には、情報提供部10は、見積り作成要求に付帯作業情報が入っていなければ、荷物量推定部20が推定した家財情報(引越しで運搬する対象の物体名称(物体)と、その物体のサイズ情報)と、受け付けた住所情報とを用いて引越し費用見積り金額を算出する。また、情報提供部10は、見積り作成要求に付帯作業情報が入っていれば、家財情報、住所情報及び付帯作業情報を用いて、引越し費用見積り金額を算出する。
【0071】
その後、サーバ1の情報提供部10は、
図9に示す、引越しのお見積り金額が提示されているとWebページ130を生成し、ユーザ端末UTにWebページ130を送信する。
【0072】
図9に示すWebページ130には、上記の算出した引越し費用見積り金額(参考お見積り金額)が提示されている領域131と、ユーザの連絡先であるお客様情報の入力欄132と、お申込みボタン133とが設けられている。
ユーザは、Webページ130を参照することで、引越し費用を確認することができる。また、ユーザは、この金額で問題無いと思ったときには、お客様情報を入力して、お申込みボタン133をクリックすることで、引越し依頼をすることができる。
【0073】
以上、説明したように、本実施形態によれば、ユーザは、例えば、スマートフォンで構成されたユーザ端末のカメラ機能で、引越し元の建物・室内にある「引越しのときに運搬を希望する物体(家財)」を撮影し、サーバ1が提供するWebページにアップロードすれば良く、上述した従来技術の引越業務支援システムのように、サーバから提供される画面上で、運搬を希望する家財の品目を選択し、且つその大きさを入力していく必要がない。その結果、本実施形態によれば、ユーザが、運搬を希望する家財の品目や大きさの入力ミスをすることがなく、正確な引越しの見積り情報を得ることができる。
【0074】
すなわち、本実施形態によれば、引越しを希望しているユーザの簡単な作業により、引越しの見積り金額を算出することができる引越し費用見積りシステムを提供することができる。
【0075】
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨の範囲内において種々の変更が可能である。
【符号の説明】
【0076】
1…サーバ装置
10…情報提供部
20…荷物量推定部
21…物体認識部
22…物体同定・サイズ推定部
23…深度推定部
30…物体情報取得部
40…記憶部
50…物体データベース
UT…ユーザ端末