(58)【調査した分野】(Int.Cl.,DB名)
不揮発性コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータに請求項1から請求項8のいずれか一項に記載の方法を実行させるためのコンピュータ実行可能なコマンドが記憶されている、ことを特徴とする不揮発性コンピュータ可読記憶媒体。
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、不揮発性コンピュータ可読記憶媒体及び前記不揮発性コンピュータ可読記憶媒体に内蔵されたコンピュータプログラムコマンドを含み、前記コンピュータプログラムコマンドは、プロセッサに請求項1から請求項8のいずれか一項に記載の方法を実行させるためのコマンドを含む、ことを特徴とするコンピュータプログラム製品。
【発明を実施するための形態】
【0012】
本願の目的、技術的解決手段及び利点をより分かりやすくするために、以下、図面及び実施例を参照しながら、本願についてさらに詳細に説明する。本明細書に記載された具体的な実施例は単なる本願を解釈するものであり、本願を限定するものではないと理解すべきである。
【0013】
図1は、本願の実施例にて提供される物品探索方法の適用環境の模式図である。
図1に示すように、該適用環境は、ユーザー10と、スマート端末20と、クラウドサーバ30と、を含む。
【0014】
ユーザー10は、例えば、家庭、ワーキンググループ又は個人等、同じ又は類似の操作行動を有する任意の数のグループであってもよい。ユーザー10は、音声、文字、身体動作等の方式によってスマート端末20とデータインタラクションを行うことができる。
【0015】
スマート端末20は、例えば、掃除ロボット、物品整理ロボット、介護ロボット等、一定の論理演算能力を備え、ユーザーの意図を満足できる1つ又は複数の機能を提供する、いずれかの適切なタイプの電子機器であってもよい。スマート端末20は、視覚探索、音声取得と音声識別、及び画像取得と画像識別等の機能を備える。スマート端末20は、ユーザー10から入力された音声、文字、身体動作等の情報を受信した後、音声識別又は画像識別等の機能によってユーザー10から送信されたタスクを取得することができる。スマート端末20は、ローカルエリアネットワーク及びインターネットにアクセスすることができ、タスクを受信した後、ローカルエリアネットワーク又はインターネットにアクセスするという協力によりタスクを完了することができる。この過程において、スマート端末20は、クラウドサーバ30とデータインタラクションを行うことができ、クラウドサーバ30の高い演算能力でスマート端末20に協力してユーザー10から送信されたタスクを完了する。
【0016】
1つ又は複数のスマート端末20によってユーザー10から送信されたタスクを実行してもよい。複数のスマート端末20によってユーザー10から送信されたタスクを実行する場合、該複数のスマート端末20の間は、互いに通信するとともに、データ情報を共有することができる。さらに、
図1に示された1つのスマート端末に限定されず、該複数のスマート端末20は、いずれもローカルエリアネットワーク、インターネット及びクラウドサーバにアクセスすることができる。
【0017】
クラウドサーバ30は、スマート端末20に、具体的にはクラウドコンピューティング及びクラウドストレージの需要に対して、クラウドサービスを提供するために用いられる。スマート端末20から送信されたクラウドコンピューティング要求メッセージを受信した後、クラウドサーバ30はアプリケーションを取得するか、又は記憶されたアプリケーションを呼び出すことで、クラウドコンピューティング処理を行い、例えば、ある物品に対して3Dモデリングを行う。スマート端末20から送信されたクラウドストレージ要求メッセージを受信した後、クラウドサーバ30は、該データ情報をキャッシュすることができる。クラウドサーバ30は、さらに予め記憶されたデータ情報を記憶することができる。
【0018】
なお、本願の実施例にて提供される物品探索方法の適用環境は、さらにその他の適切な適用環境に広げられてもよく、
図1に示された適用環境に限定されない。
図1は、1つのユーザー10、3つのスマート端末20及び1つのクラウドサーバ30を示したが、実際の適用過程において、該適用環境がより多くの、又はより少ないユーザー、スマート端末及びクラウドサーバをさらに含んでもよいことは、当業者が理解できるものである。
【0019】
以下、具体的な実施例を参照しながら、本願の実施例についてさらに説明する。
【0020】
図2は本願の実施例にて提供される物品探索方法の概略フローチャートである。
図2に示すように、該方法は、ステップ21〜ステップ24を含む。
【0021】
ステップ21、探索対象物品を探索する探索タスクを受信する。
【0022】
本実施例では、スマート端末は、ユーザーから送信された、ある空間における物品を探索する探索タスクを受信する。ユーザーは、音声入力、文字入力又はジェスチャー入力等の方式によって、スマート端末に探索対象物品のキー情報を含む探索タスクを送信することができ、スマート端末は、該キー情報に基づいて該探索タスクを理解することができる。ユーザーが音声又は文字によって探索タスクを入力する場合、スマート端末は、音声識別及び語義理解に基づいて該探索タスクのキーワードを抽出することができる。ユーザーがジェスチャー等の身体動作によって探索タスクを入力する場合、スマート端末は、動作識別等に基づいて該探索タスクのキーワードを抽出することができる。
【0023】
例えば、ユーザーは、家庭中におけるある1つ又は何らかのロボットに、例えば、「Tom、『鋼鉄はいかに鍛えられたか』という本がどこに置かれたか、探してくれ!」と呼び出し、名前がTomであるロボットは、ユーザーから送信された音声情報を受信した後、音声識別及び語義理解に基づいて、「本」、「鋼鉄はいかに鍛えられたか」をキー情報として識別し、これにより、現在の探索タスクを、『鋼鉄はいかに鍛えられたか』という本を探索することとする。
【0024】
ステップ22、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得する。
【0025】
探索タスクを受信した後、後続の探索過程において3Dモデルに基づいて探索対象物品を探索するように、スマート端末は、探索タスクに含まれているキー情報に基づいて探索対象物品に対応する前記3Dモデルを取得する。
【0026】
具体的には、
図3に示すように、前記探索対象物品に対応する3Dモデルを取得するステップは、ステップ221〜ステップ223を含む。
【0027】
ステップ221、ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルを調べる。
【0028】
ステップ222、ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられるか否かを判断する。
【0029】
ステップ223、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられると、見つけられた前記3Dモデルを前記探索対象物品に対応する3Dモデルとする。
【0030】
本実施例において、スマート端末は、ローカルエリアネットワークにアクセスすることにより、ローカル3Dモデルセットにおいて探索対象物品の3Dモデルを調べる。ここで、探索タスクに含まれているキーワードをローカル3Dモデルにおける各3Dモデルに対応する文字ラベルとマッチングすることができ、マッチングすれば、該3Dモデルが見つけられる。該各3Dモデルに対応する文字ラベルは、ローカル3Dモデルセットに記憶されている3Dモデルを解釈及び説明するために用いられる。
【0031】
ここで、該ローカル3Dモデルセットは、予め構築された現在領域内における物品を含む3Dモデルのデータセットである。現在領域内における物品は、現在領域における全ての物品であってもよく、ユーザーが常に使っている物品であってもよく、又は、体積が小さく、見つけにくい物品等であってもよい。さらに、該ローカル3Dモデルセットにおける3Dモデルは、物品の分類に基づいて構築することができ、例えば、「本」類は1種又は複数種の3Dモデルに対応し、「携帯電話」類は1種又は複数種の3Dモデルに対応する、等が挙げられる。
【0032】
該ローカル3Dモデルセットにおける全ての内容は、ローカルサーバに記憶されてもよく、スマート端末本体に記憶されてもよく、又は、クラウドサーバに記憶されてもよく、ここで限定されない。また、具体的な適用場面に応じて、該ローカル3Dモデルセットにおける内容が更新されてもよい。
【0033】
ローカル3Dモデルセットにおいて探索対象物品の3Dモデルが見つけられないと、さらに、
図3に示すように、前記探索対象物品に対応する3Dモデルを取得する方法はさらに、ステップ224〜ステップ226を含む。
【0034】
ステップ224、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられないと、ネットワークで前記探索対象物品に対応する3Dモデルを探索する。
【0035】
ステップ225、ネットワークで前記探索対象物品に対応する3Dモデルが探し出されるか否かを判断する。
【0036】
ステップ226、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されると、前記探し出された3Dモデルを前記探索対象物品に対応する3Dモデルとし、且つ前記探し出された3Dモデルを前記ローカル3Dモデルセットに記憶する。
【0037】
本実施例において、ローカルで探索対象物品の3Dモデルが探し出されないと、インターネットから該3Dモデルを探索する。ここで、探索タスクに含まれるキーワードに基づいて、ネットワークで該キーワードに対応する3Dモデルを探索する。なお、探し出された3Dモデルの数が探索キーワードに関わり、キーワードが詳細であれば詳細であるほど、探し出された3Dモデルが正確である。しかしながら、ある物品のバージョン又はスタイルが複数である場合、キーワードによって具体的な3Dモデルを区別できず、このとき、ユーザーとのインタラクションによって探索対象物品の3Dモデルを決定することができる。
【0038】
例えば、ネットワークで『鋼鉄はいかに鍛えられたか』という本の3Dモデルを探索する場合、該本は複数バージョンの様々な表紙スタイルがあり、したがって、本の名に基づいてその3Dモデルを探索すると、該本の複数種の3Dモデルを得る。このとき、キーワードに基づいて該本のピクチャを探索し、画面又は投影によって探し出された該本のピクチャ(即ち表紙スタイル)をユーザーに表示することができ、該本のバージョンが複数あると音声によってユーザーに提示し、ユーザーが1つを選択するとアドバイスし、ユーザーが提示を受けた後、音声又は画面クリック等の方式によって選択でき、ユーザーに選択されたピクチャを受信した後、さらに該ピクチャに基づいてそれに対応する3Dモデルを探索する。
【0039】
ネットワークで探索対象物品に対応する3Dモデルが探し出されないと、さらに、
図3に示すように、前記探索対象物品に対応する3Dモデルを取得する方法はさらに、ステップ227〜ステップ228を含む。
【0040】
ステップ227、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されないと、ネットワークで前記探索対象物品に対応するピクチャを探索する。
【0041】
ステップ228、クラウド側で前記ピクチャに基づいて構築された前記探索対象物品の3Dモデルを取得するとともに、前記構築された3Dモデルを前記ローカル3Dモデルセットに記憶する。
【0042】
本実施例において、ローカルとネットワークのどちらでも探索対象物品に対応する3Dモデルが見つけられないと、探索対象物品の3Dモデルを構築する。ネットワークで探索対象物品に関わる大量のピクチャを探索することにより、ピクチャに基づいて物品の3Dモデリングを行い、ピクチャに基づく3Dモデリングの具体的な実施形態は、関連技術において詳細に説明されたが、ここで限定されない。この物品の3Dモデリング過程は、クラウドサーバで行われてもよく、スマート端末は、探し出されたピクチャをクラウドサーバに送信し、クラウドサーバはモデリング結果をスマート端末に戻させ、且つローカル3Dモデルセットにおける内容を完全にするように、この構築された3Dモデルをローカル3Dモデルセットに記憶する。この物品の3Dモデリング過程はスマート端末で行われてもよい。
【0043】
ステップ23、前記探索対象物品を探索する探索タスクグループを決定する。
【0044】
本実施例において、該探索タスクグループは、少なくとも2つのスマート端末を含むスマート端末セットであり、該セットにおけるスマート端末はいずれも探索対象物品を探索するために用いられる。下記の方法によって該探索タスクグループを構築することができる。
【0045】
例えば、バトラーロボットがユーザーから送信された探索対象物品を探索するタスクを受信すると、該バトラーロボットは、該ユーザーに属する全てのローカルロボットにおける視覚探索機能を備えるロボットに通知し、それによりこれらの選択されたロボットを1つの探索タスクグループに構築する。
【0046】
例えば、ユーザーに属するローカルロボットにおいて、少なくとも2つのロボットがいずれもユーザーから送信された探索タスクを受信すると、同じ探索タスクを受信するロボットを探索タスクグループに構築する。
【0047】
例えば、ユーザーに属するローカルロボットにおいて、視覚探索機能を備え、且つアイドル状態にあるロボットを探索タスクグループに構築する。さらに、ユーザーから送信された探索タスクの優先度を、ローカルロボットが現在実行しているタスクの優先度と比較し、ローカルロボットが実行しているタスクの優先度が、該探索タスクの優先度より低ければ、低い優先度に対応するロボットを探索タスクグループに入れ、これらのロボットに探索タスクを優先的に実行させ、現在実行されているタスクをキャッシュする。
【0048】
探索タスクグループの構築による上記の物品探索は、探索効率を向上させることができるだけでなく、また物品を見つける確率をより効果的に向上させることができる。
【0049】
ステップ24、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索する。
【0050】
本実施例において、3Dモデルを取得したスマート端末は、取得した3Dモデルを探索タスクグループにおけるその他のスマート端末に送信し、それにより該探索タスクグループと連携して、3Dモデルに基づいて探索対象物品を探索する。この過程において、探索タスクグループにおける各スマート端末の間は、互いに通信し、探索過程及び探索結果を共有することができる。
【0051】
いくつかの実施例において、探索タスクグループにおけるスマート端末は、ロボットであることが好ましく、ロボットによって構築された探索タスクグループは、下記の方式によって探索対象物品を探索することができる。
【0052】
具体的には、
図4に示すように、取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、ステップ24a1〜ステップ24a2を含む。
【0053】
ステップ24a1、前記探索タスクグループにおけるロボットに対応する探索領域を決定する。
【0054】
ステップ24a2、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、対応する探索領域で探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信する。
【0055】
なお、探索タスクグループには、複数のロボットが含まれ、各ロボットを合理的に配分できれば、探索効率を効果的に向上させることができる。したがって、ここで、探索タスクグループにおける各ロボットに対応する探索領域を割り当て、これによりロボットは3Dモデルに基づいて、その対応する探索領域で探索する。
【0056】
ここで、ロボットの現在位置に基づいて探索タスクグループにおけるロボットの探索領域を決定してもよい。例えば、探索タスクを受信する時、掃除ロボットがリビングルームに位置し、物品整理ロボットが部屋に位置する場合、掃除ロボットの探索領域がリビングルームであり、物品整理ロボットの探索領域が部屋であると決定する。また、探索タスクグループにおけるロボットの数及び探索領域の空間の大きさに基づいて、探索タスクグループにおけるロボットの探索領域を決定してもよい。また、各ロボット自身の機能属性に基づいて、その対応する探索領域を決定してもよく、例えば、キッチンロボットに対応する探索領域はキッチンであり、ドア開けロボットに対応する探索領域はリビングルームである。また、その他の方式によって探索タスクグループにおけるロボットの探索領域を決定してもよい。
【0057】
探索領域に監視システムが含まれる場合、探索タスクグループは、監視システムの援助で探索を開始することができる。具体的には、
図5に示すように、取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、ステップ24b1〜ステップ24b2を含む。
【0058】
ステップ24b1、監視システムによって監視された監視画面を取得する。
【0059】
ステップ24b2、前記監視画面に基づいて前記3Dモデルに対応する探索対象物品を探索する。
【0060】
監視画面は、探索領域を監視することにより取得された画面を意味する。ここで、監視画面については、探索タスクグループにおける演算能力が最も強いロボット、又は行動能力がないロボット、又は現在、自身の探索範囲が探索済みのロボットによって、監視システムから監視画面が取得され、取得された監視画面を探索タスクグループにおけるその他のロボットに共有させ、それにより各ロボットは3Dモデル及び監視画面に基づいて探索対象物品を調べる。また、探索タスクグループにおける各ロボットは、いずれも監視システムから監視画面を取得してもよい。
【0061】
なお、ユーザーが探したい物品は、いくつかの忘れやすい物品、例えば、眼鏡、ヘッドホン等である可能性があり、ユーザーは、これらの物品を常に置いたいくつかの位置に習慣的に置く。したがって、物品を置く位置履歴と合わせて物品を探索してもよい。
【0062】
具体的には、
図6に示すように、取得した前記3Dモデルに基づいて、前記探索タスクグループと連携して前記探索対象物品を探索する前記ステップは、ステップ24c1〜ステップ24c2を含む。
【0063】
ステップ24c1、前記探索対象物品に対応する、前記探索対象物品の位置履歴及び前記探索対象物品が各位置履歴で探し出された探索回数を記録するために用いられる位置グループ履歴を取得する。
【0064】
ステップ24c2、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、且つ前記位置グループ履歴と合わせて前記探索対象物品を探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信する。
【0065】
ここで、該位置グループ履歴が予め構築され、中には、物品がかつて見つけられた時の位置、及び該位置で見つけられた回数が記録されている。位置グループ履歴に対応する時間履歴は、ユーザーによってカスタム設定されてもよい。該位置グループ履歴は、各ロボットに記憶されてもよく、クラウドサーバに記憶されてもよく、ローカルサーバに記憶されてもよい。
【0066】
位置グループ履歴に基づいて物品を探索するステップは、該物品が該位置で過去に見つけられた回数の多少に基づいて位置履歴をソートし、続いて該ソートに基づいて順序に従って物品を探索することを含む。例えば、眼鏡は、コンピュータデスクで過去に見つけられた回数が5回で、ナイトテーブルで過去に見つけられた回数が3回で、流し台で過去に見つけられた回数が2回であれば、ロボットはコンピュータデスク、ナイトテーブル、流し台の順序に従って眼鏡を探索してもよい。
【0067】
なお、探索タスクグループが最も早く、且つ最も正確に探索対象物品を探し出すようにさせるために、上記の3つの実施形態の間は合理的に組み合わせてもよい。以下、例を挙げて、この3つの実施形態の組み合わせを説明する。
【0068】
例えば、まず、探索タスクグループにおける各ロボットの探索領域を決定し、続いて、ロボットがそれに対応する探索領域において探索対象物品を探索する場合、該領域において探索対象物品に対応する位置グループ履歴に基づいて探索を行う。例えば、ロボットAとロボットBは、「鋼鉄はいかに鍛えられたか」という本を共に探索し、ロボットAに対応する探索領域はリビングルームで、ロボットBに対応する探索領域はベッドルームであり、ここで、該本がリビングルームにある位置グループ履歴は、{(サイドテーブル、3回)、(ソファー、2回)、(引き出し、1回)}であり、該本がベッドルームにある位置グループ履歴は、{(ナイトテーブル、3回)、(枕の下、1回)}であり、ここで、ロボットAは、リビングルームで「サイドテーブル、ソファー、引き出し」の順序に従ってこの「鋼鉄はいかに鍛えられたか」という本を探索し、ロボットBは、ベッドルームで「ナイトテーブル、枕の下」の順序に従ってこの「鋼鉄はいかに鍛えられたか」という本を探索する。この過程において、ロボットAとロボットBとの間は、自分の探索結果を共有する。
【0069】
例えば、探索タスクグループにおける各ロボットの探索領域を決定した後、ロボットはそれに対応する領域の監視画面を取得し、監視画面の走査、及び自分の探索によって探索対象物品を探索する。
【0070】
例えば、ロボットが探索対象物品の位置グループ履歴を取得した後、該位置グループ履歴における各位置履歴の監視画面を呼び出すことにより、さらに監視画面によって探索対象物品が存在するか否かを判断する。
【0071】
なお、ロボットが上記形態における1つ又は複数を利用して探索対象物品を探索する場合、その探索した位置、及び監視システムが走査した位置は、いずれも室内三次元地図上でマーキングされ、且つロボットの間にマーキングされた該室内三次元地図を共有させることができ、ロボットは、該室内三次元地図の記録に基づいて探索領域を選択的にスクリーニングしてもよい。
【0072】
さらに、上記ステップ24c1及び24c2に基づいて、前記探索対象物品を探し出した後、
図7に示すように、前記方法はさらに、ステップ25〜ステップ27を含む
【0073】
ステップ25、前記探索対象物品の探し出された位置が前記位置グループ履歴に属すか否かを判断する。
【0074】
ステップ26、属すれば、前記探索対象物品が探し出された位置に対応する探索回数を更新する。
【0075】
ステップ27、属しなければ、前記位置グループ履歴に前記探索対象物品が探し出された位置、及び前記位置に対応する探索回数を記録する。
【0076】
例えば、上記探索対象眼鏡が見つけられ、且つ「流し台」で見つけられると、この見つけられた位置が前記位置グループ履歴に属すと説明され、このとき、「流し台」に対応する探索回数を更新し、例えば、1を加算する。上記探索対象眼鏡が見つけられ、且つ「サイドテーブル」で見つけられると、該見つけられた位置が前記位置グループ履歴に属しないと説明され、このとき、「サイドテーブル」という位置を位置グループ履歴に記録し、且つ対応する探索回数を記録し、例えば、1と記録する。
【0077】
本願の実施例にて提供される物品探索方法は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索する。探索過程において領域を分割し、監視システムを呼び出し、且つ位置履歴と合わせることにより該物品に対して探索を行う。該実施形態は、探索効率を向上できるだけでなく、また物品を見つける正確率を向上できる。
【0078】
図8は、本願のさらに別の実施例にて提供される物品探索方法の概略フローチャートである。
図8に示すように、該方法は、ステップ31〜ステップ37を含む。
【0079】
ステップ31、探索対象物品を探索する探索タスクを受信する。
【0080】
ステップ32、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得する。
【0081】
ステップ33、前記探索対象物品を探索する探索タスクグループを決定する。
【0082】
ステップ34、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索する。
【0083】
上記ステップ31〜34は、上記実施例における説明を参照してもよく、ここで説明を省略する。
【0084】
ステップ35、前記探索対象物品が探し出された提示メッセージを生成する。
【0085】
ステップ36、前記探索対象物品を決定する確認メッセージを受信する。
【0086】
ステップ37、前記探索タスクグループが前記探索タスクの完了を確認するように、前記探索タスクグループに前記確認メッセージを共有させる。
【0087】
本実施例において、探索対象物品が最後に探し出されると、スマート端末は、探索対象物品が検出し出された提示メッセージを生成することにより、該物品が見つけられたとユーザーに提示することができる。該提示メッセージは、該物品の具体的な位置、該物品のピクチャ及び該物品自体等を含む。ユーザーは、該提示メッセージを受信した後、それを確認し、見つけられた探索対象物品が、ユーザーに必要な物品であると確認する場合、探索タスクグループが該確認メッセージを共有し、このとき、探索タスクが完了し、該探索タスクグループを解体してもよい。見つけられた探索対象物品が、ユーザーに必要な物品でないと確認する場合、このとき、ユーザーがスマート端末により多くの探索対象物品の特徴を入力してもよく、探索タスクグループが再び探索を示す。空間探索が終わっても、依然として見つけない場合、見つけなかったとユーザーに知らせ、さらに探索タスクグループを解体し、タスクを終了させる。
【0088】
本願の実施例にて提供される物品探索方法は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索するとともに、ユーザーに探索結果をフィードバックし、ユーザーの確認結果に基づいて探索タスクが終了するか否かを決定する。該実施形態は、物品の探索効率を向上できるだけでなく、また最終的に見つけられた物品がユーザーニーズにより合致する。
【0089】
図9は、本願の実施例にて提供される物品探索装置の概略構造図である。
図9に示すように、該装置40は、第1受信モジュール41、取得モジュール42、決定モジュール43及び探索モジュール44を含む。
【0090】
ここで、第1受信モジュール41は、探索対象物品を探索する探索タスクを受信するために用いられる。取得モジュール42は、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するために用いられる。決定モジュール43は、前記探索対象物品を探索するタスクグループを決定するために用いられる。探索モジュール44は、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するために用いられる。
【0091】
本実施例において、第1受信モジュール41は、受信した探索対象物品の探索タスクを取得モジュール42に送信し、取得モジュール42は、該探索タスクに基づいて探索対象物品に対応する3Dモデルを取得し、決定モジュール43によって探索タスクグループを決定し、探索モジュール44は、取得モジュール42が取得した3Dモデル及び決定モジュール43が決定した探索タスクグループに基づいて探索対象物品を探索する。
【0092】
ここで、該取得モジュール42は、調べユニット421、第1取得ユニット422、第1探索ユニット423、第2取得ユニット424、第2探索ユニット425及び第3取得ユニット426を含む。調べユニット421は、ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルを調べるために用いられる。第1取得ユニット422は、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられると、見つけられた前記3Dモデルを前記探索対象物品に対応する3Dモデルとするために用いられる。第1探索ユニット423は、前記ローカル3Dモデルセットにおいて前記探索対象物品に対応する3Dモデルが見つけられないと、ネットワークで前記探索対象物品に対応する3Dモデルを探索するために用いられる。第2取得ユニット424は、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されると、前記探し出された3Dモデルを前記探索対象物品に対応する3Dモデルとし、且つ前記探し出された3Dモデルを前記ローカル3Dモデルセットに記憶するために用いられる。第2探索ユニット425は、前記ネットワークで前記探索対象物品に対応する3Dモデルが探し出されないと、ネットワークで前記探索対象物品に対応するピクチャを探索するために用いられる。第3取得ユニット426は、クラウド側で前記ピクチャに基づいて構築された前記探索対象物品の3Dモデルを取得するとともに、前記構築された3Dモデルを前記ローカル3Dモデルセットに記憶するために用いられる。
【0093】
ここで、決定モジュール43は、具体的には、前記探索タスクの優先度、及びその他のロボットが現在実行しているタスクの優先度に基づいて、前記探索対象物品を探索する探索タスクグループを決定するために用いられる。
【0094】
ここで、探索モジュール44は、決定ユニット441、第3探索ユニット442、第4取得ユニット443、第4探索ユニット444、第5取得ユニット445及び第5探索ユニット446を含む。決定ユニット441は、前記探索タスクグループにおけるロボットに対応する探索領域を決定するために用いられる。第3探索ユニット442は、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、対応する探索領域で探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するために用いられる。第4取得ユニット443は、監視システムによって監視された監視画面を取得するために用いられる。第4探索ユニット444は、前記監視画面に基づいて前記3Dモデルに対応する探索対象物品を探索するために用いられる。第5取得ユニット445は、前記探索対象物品に対応する、前記探索対象物品の位置履歴及び前記探索対象物品が各位置履歴で探し出された探索回数を記録するために用いられる位置グループ履歴を取得するために用いられる。第5探索ユニット446は、前記探索タスクグループにおける各ロボットが前記3Dモデルに基づいて、且つ前記位置グループ履歴と合わせて前記探索対象物品を探索するように、前記探索タスクグループにおけるロボットに探索コマンドを送信するために用いられる。
【0095】
いくつかの実施例において、
図10に示すように、前記探索結果には、前記探索対象物品が探し出された情報を含む場合、前記装置はさらに、判断モジュール45、第1処理モジュール46及び第2処理モジュール47を含む。判断モジュール45は、前記探索対象物品の探し出された位置が前記位置グループ履歴に属すか否かを判断するために用いられる。第1処理モジュール46は、属すれば、前記探索対象物品が探し出された位置に対応する探索回数を更新するために用いられる。第2処理モジュール47は、属しなければ、前記位置グループ履歴に前記探索対象物品が探し出された位置、及び前記位置に対応する探索回数を記録するために用いられる。
【0096】
なお、上記装置内のモジュール、ユニットの間の情報インタラクション、実行過程等の内容は、本願の方法の実施例と同じ思想に基づくため、具体的な内容は、本願の方法の実施例における説明を参照してもよく、ここで説明を省略する。また、物品探索装置は、探索タスクグループのメンバーの1つであってもよく、探索タスクグループのメンバーから独立したロボットであってもよく、又は、該物品探索装置は制御機構であってもよい。
【0097】
本願の実施例にて提供される物品探索装置は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索する。探索過程において領域を分割し、監視システムを呼び出し、且つ位置履歴と合わせることにより該物品に対して探索を行う。該実施形態は、探索効率を向上できるだけでなく、また物品を見つける正確率をできる。
【0098】
図11は、本願のさらに別の実施例にて提供される物品探索装置の概略構造図である。
図11に示すように、該装置50は、第1受信モジュール51、取得モジュール52、決定モジュール53、探索モジュール54、生成モジュール55、第2受信モジュール56及び第3処理モジュール57を含む。
【0099】
ここで、第1受信モジュール51は、探索対象物品を探索する探索タスクを受信するために用いられる。取得モジュール52は、前記探索タスクに基づいて、前記探索対象物品に対応する3Dモデルを取得するために用いられる。決定モジュール53は、前記探索対象物品を探索するタスクグループを決定するために用いられる。探索モジュール54は、取得した前記3Dモデルに基づいて、前記探索対象物品を探索する過程で探索結果を共有する前記探索タスクグループと連携して前記探索対象物品を探索するために用いられる。生成モジュール55は、前記探索対象物品が探し出された提示メッセージを生成するために用いられる。第2受信モジュール56は、前記探索対象物品を決定する確認メッセージを受信するために用いられる。第3処理モジュール57は、前記探索タスクグループが前記探索タスクの完了を確認するように、前記探索タスクグループに前記確認メッセージを共有させるために用いられる。
【0100】
本実施例において、第1受信モジュール51は、受信した探索対象物品の探索タスクを取得モジュール52に送信し、取得モジュール52は、該探索タスクに基づいて探索対象物品に対応する3Dモデルを取得し、決定モジュール53によって探索タスクグループを決定し、探索モジュール54は、取得モジュール52が取得した3Dモデル及び決定モジュール53が決定した探索タスクグループに基づいて探索対象物品を探索する。前記探索結果には、前記探索対象物品が探し出された情報を含む場合、生成モジュール55は、探索対象物品が探し出された提示メッセージを生成して、ユーザーに示すとともに、第2受信モジュール56によってユーザーの確認メッセージを受信し、該確認メッセージを第3処理モジュール57に送信し、且つ第3処理モジュール57によって該確認メッセージを処理し、それにより探索タスクが終了するか否かを判定する。
【0101】
なお、上記装置内のモジュール間の情報インタラクション、実行過程等の内容は、本願の方法の実施例と同じ思想に基づくため、具体的な内容は、本願の方法の実施例における説明を参照してもよく、ここで説明を省略する。
【0102】
本願の実施例にて提供される物品探索装置は、探索タスクグループ及び探索対象物品に対応する3Dモデルによって、探索対象物品を探索するとともに、ユーザーに探索結果をフィードバックし、ユーザーの確認結果に基づいて探索タスクが終了するか否かを決定する。該実施形態は、物品の探索効率を向上できるだけでなく、また最終的に見つけられた物品がユーザーニーズにより合致する。
【0103】
図12は、本願の実施例にて提供されるロボットの概略構造図である。
図12に示すように、上記の物品探索方法を実行できる該ロボットは、バトラーロボット、掃除ロボット、物品整理ロボット、介護ロボット等、様々なタイプのロボットを含む。
【0104】
本実施例において、該ロボット60は、1つ又は複数のプロセッサ61及びメモリ62を含み、
図12では、1つのプロセッサ61を例とする。
【0105】
プロセッサ61及びメモリ62は、バス又はその他の方式によって接続されてもよく、
図12では、バスによる接続を例とする。
【0106】
物品探索方法を実行するロボットは、入力装置63及び出力装置64をさらに含んでもよい。
【0107】
メモリ62は、不揮発性コンピュータ可読記憶媒体として、例えば、本願の実施例における物品探索方法に対応するプログラムコマンド/モジュール(例えば、
図9に示した第1受信モジュール41、取得モジュール42、決定モジュール43及び探索モジュール44)のような不揮発性ソフトウェアプログラム、不揮発性コンピュータ実行可能なプログラム及びモジュールを記憶するために用いられ、プロセッサ61は、メモリ62に記憶されている不揮発性ソフトウェアプログラム、コマンド及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例を実現する物品探索方法を実現する。
【0108】
メモリ62は、記憶プログラム領域及びデータ記憶領域を含んでもよく、ここで、記憶プログラム領域は、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶してもよい。データ記憶領域は、物品探索装置の利用に応じて作成されたデータ等を記憶してもよい。また、メモリ62は、高速ランダムアクセスメモリを含んでもよく、例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の不揮発性固体記憶装置等の不揮発性メモリをさらに含んでもよい。いくつかの実施例において、メモリ62は、プロセッサ61に対して遠隔に設置されたメモリを含むことが好ましく、これらの遠隔に設置されたメモリは、ネットワークを介して物品探索装置に接続されてもよい。上記ネットワークの実例は、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びこれらの組み合わせを含むが、これらに限定されるものではない。
【0109】
入力装置63は、入力した数字又は文字情報を受信し、且つ物品探索装置のユーザー設置及び機能制御に関わるキー信号入力を生成することができる。出力装置64は、表示画面等の表示装置を含んでもよい。
【0110】
前記1つ又は複数のモジュールは、メモリ62に記憶されており、1つ又は複数のプロセッサ61によって実行される場合、上記の任意の方法の実施例における物品探索方法を実行し、例えば、以上説明した
図2における方法のステップ21〜ステップ24、
図3における方法のステップ221〜ステップ226、
図4における方法のステップ24a1〜ステップ24a2、
図5における方法のステップ24b1〜ステップ24b2、
図6における方法のステップ24c1〜ステップ24c2、
図7における方法のステップ21〜ステップ27、
図8における方法のステップ31〜ステップ37を実行し、
図9におけるモジュール41−44、ユニット421−426、ユニット441−446を実現し、
図10におけるモジュール41−47、ユニット421−426、ユニット441−446、
図11におけるモジュール51−57の機能を実現する。
【0111】
上記の製品は、本願の実施例にて提供される方法を実行することができ、方法を実行するための機能モジュール及び有益な効果を有する。本実施例において詳細に説明されていない技術的詳細については、本願の実施例にて提供される方法を参照してもよい。
【0112】
本願の実施例にて提供される不揮発性コンピュータ可読記憶媒体には、コンピュータ実行可能なコマンドが記憶されており、該コンピュータ実行可能なコマンドは電子機器によって上記任意の方法の実施例における物品探索方法を実行し、例えば、以上説明した
図2における方法のステップ21〜ステップ24、
図3における方法のステップ221〜ステップ226、
図4における方法のステップ24a1〜ステップ24a2、
図5における方法のステップ24b1〜ステップ24b2、
図6における方法のステップ24c1〜ステップ24c2、
図7における方法のステップ21〜ステップ27、
図8における方法のステップ31〜ステップ37を実行し、
図9におけるモジュール41−44、ユニット421−426、ユニット441−446を実現し、
図10におけるモジュール41−47、ユニット421−426、ユニット441−446、
図11におけるモジュール51−57の機能を実現する。
【0113】
本願の実施例にて提供されるコンピュータプログラム製品は、不揮発性コンピュータ可読記憶媒体に記憶されている、プログラムコマンドを含むコンピュータプログラムを含み、前記プログラムコマンドがコンピュータによって実行される場合、前記コンピュータに上記の任意の方法の実施例における物品探索方法を実行させ、例えば、以上説明した
図2における方法のステップ21〜ステップ24、
図3における方法のステップ221〜ステップ226、
図4における方法のステップ24a1〜ステップ24a2、
図5における方法のステップ24b1〜ステップ24b2、
図6における方法のステップ24c1〜ステップ24c2、
図7における方法のステップ21〜ステップ27、
図8における方法のステップ31〜ステップ37を実行し、
図9におけるモジュール41−44、ユニット421−426、ユニット441−446を実現し、
図10におけるモジュール41−47、ユニット421−426、ユニット441−446、
図11におけるモジュール51−57の機能を実現する。
【0114】
上記した装置の実施例は単なる例示的であり、分離した部材として説明された前記ユニットは物理的に分離しているものであってもよいし、そうでなくてもよく、ユニットとして表示されたユニットは物理的ユニットであってもよいし、そうでなくてもよく、即ち、1つの場所に位置してもよく、複数のネットワークユニットに分散してもよい。本実施例の解決手段の目的を達成するために、実際のニーズに応じて、そのうち一部又はすべてのモジュールを選択してもよい。
【0115】
上記の実施形態の説明により、当業者は、各実施形態がソフトウェアに一般的なハードウェアプラットフォームを加えることによって実現でき、もちろんハードウェアによっても実現できると明確に理解すべきである。当業者であれば、上記の実施例の方法におけるフローの全部又は一部は、コンピュータプログラムによって関連するハードウェアを命令することで実現でき、前記プログラムは非一時的コンピュータ可読記憶媒体に記憶されてもよく、該プログラムは実行時に、上記の方法の実施例のフローを含んでもよいことが理解されるべきである。ここで、前記記憶媒体は、磁気ディスク、コンパクトディスク、読み取り専用メモリ(Read−Only Memory、ROM)、又はランダムアクセスメモリ(Random Access Memory、RAM)であってもよい。
【0116】
最後に、上記の実施例は、本願の技術的解決手段を説明するために用いられるものに過ぎず、それを限定するものではなく、本願の思想に基づいて、上記の実施例又は異なる実施例における技術的特徴を組み合わせてもよく、ステップを任意の順序に従って実現してもよく、且つ上記のように本願の異なる態様の他の多くの変形形態があるが、簡潔にするために、それらは詳細に記載されていない。上記した実施例を参照して本願について詳細に説明したが、当業者であれば、上記した実施例に記載の技術的解決手段を修正するか、又は技術的特徴の一部に対して等価置換を行ってもよく、これらの修正又は置換は、それ相応な技術的解決手段に本願の各実施例の技術的解決手段の範囲を逸脱させないことが理解されるべきである。