特許 7472586 ライブビデオ及びオブジェクト検出を介して物理オブジェクトをドキュメント化する要求を報告するための方法、プログラム及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】ライブビデオ及びオブジェクト検出を介して物理オブジェクトをドキュメント化する要求を報告するための方法、プログラム及び装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240416BHJP

   G06F 3/0482 20130101ALI20240416BHJP

   G06T 7/00 20170101ALI20240416BHJP

【ＦＩ】

G06Q50/10

G06F3/0482

G06T7/00 300D

【請求項の数】 20

(21)【出願番号】P 2020055901

(22)【出願日】2020-03-26

(65)【公開番号】P2020201938

(43)【公開日】2020-12-17

【審査請求日】2023-02-28

(31)【優先権主張番号】16/436577

(32)【優先日】2019-06-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】スコット カーター

(72)【発明者】

【氏名】ローラン ドゥヌ

(72)【発明者】

【氏名】アブラハミ ダニエル

【審査官】酒井 優一

(56)【参考文献】

【文献】特表２０１７－５３１２６１（ＪＰ，Ａ）

【文献】特開２０１８－２０７２２０（ＪＰ，Ａ）

【文献】特開２０１５－２３２８５３（ＪＰ，Ａ）

【文献】特開２０１１－２３３９７４（ＪＰ，Ａ）

【文献】特開２００４－０８６８４４（ＪＰ，Ａ）

【文献】特開２０１７－１１６９９８（ＪＰ，Ａ）

【文献】特開２０１４－２１９７２７（ＪＰ，Ａ）

【文献】特開２０１９－０１２４７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ ３／０４８２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

テンプレートにより、要求を受信してペイロードを生成し、
ビューアを介してライブビデオを受信し、前記ライブビデオ内のオブジェクトに対して認識処理を実行して、前記オブジェクトが前記ペイロード内のアイテムの候補であるかどうかを判断し、
前記オブジェクトが前記認識処理の決定と一致する可能性を示す閾値を用いて前記オブジェクトをフィルタリングし、
前記フィルタリングを通過したオブジェクトをアイテムとして選択可能に表示し、
前記アイテムの選択を示す入力を受信し、
受信した前記入力に基づいて前記テンプレートを更新し、前記アイテムに関連する情報を前記テンプレートに挿入して要求を完了すること、
を含むコンピュータ実装方法。

【請求項2】

前記テンプレートを介して受信される前記要求について、ドキュメントを解析して前記アイテムを抽出することをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

テンプレート分析アプリケーションプログラミングインターフェース（ＡＰＩ）を提供して前記ペイロードを生成することをさらに含む、請求項２に記載のコンピュータ実装方法。

【請求項4】

ユーザが、階層配列において１つ以上のセクションのアイテムを選択することができる、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記ビューアが、認識装置により前記ビューアのフレームを分析する別個のスレッドを実行する、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記要求に関連する前記ペイロードで受信されたアイテムに対して前記オブジェクトをフィルタリングすることをさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記アイテムの各々は、前記認識処理が実行された前記オブジェクトに関してトークン化及びステミングされる、請求項６に記載のコンピュータ実装方法。

【請求項8】

前記情報が、記述、メタデータ、及びメディアのうちの少なくとも１つを含む、請求項１に記載のコンピュータ実装方法。

【請求項9】

テンプレートにより、要求を受信してペイロードを生成し、
ビューアを介してライブビデオを受信し、前記ライブビデオ内のオブジェクトに対して認識処理を実行して、前記オブジェクトが前記ペイロード内のアイテムの候補であるかどうかを判断し、
前記オブジェクトが前記認識処理の決定と一致する可能性を示す閾値を用いて前記オブジェクトをフィルタリングし、
前記フィルタリングを通過したオブジェクトをアイテムとして選択可能に表示し、
前記アイテムの選択を示す入力を受信し、
受信した前記入力に基づいて前記テンプレートを更新し、前記アイテムに関連する情報を前記テンプレートに挿入して要求を完了すること、
を含む方法をコンピュータに実行させる、プログラム。

【請求項10】

ユーザは、１つ以上のセクションのアイテムを選択することができる、請求項９に記載のプログラム。

【請求項11】

前記ビューアが、認識装置で前記ビューアのフレームを分析する別個のスレッドを実行する、請求項９に記載のプログラム。

【請求項12】

前記要求に関連する前記ペイロードで受信されたアイテムに対して前記オブジェクトをフィルタリングすることをさらに含み、各アイテムは前記認識処理が実行された前記オブジェクトに関してトークン化及びステミングされる、請求項９に記載のプログラム。

【請求項13】

前記情報が、記述、メタデータ、及びメディアのうちの少なくとも１つを含む、請求項９に記載のプログラム。

【請求項14】

テンプレートにより要求を受信し、ペイロードを生成する手段と、
ビューアを介してライブビデオを受信し、前記ライブビデオ内のオブジェクトに対して認識処理を実行して、前記オブジェクトが前記ペイロード内のアイテムの候補であるかどうかを判断する手段と、
前記オブジェクトが前記認識処理の決定と一致する可能性を示す閾値を用いて前記オブジェクトをフィルタリングする手段と、
前記フィルタリングを通過したオブジェクトをアイテムとして選択可能に表示する手段と、
ユーザによる前記アイテムの選択を示す入力を受信する手段と、
受信した前記入力に基づいて前記テンプレートを更新し、前記アイテムに関連する情報を前記テンプレートに挿入して要求を完了する手段と、
を備える、要求を処理可能である装置。

【請求項15】

ビューアをさらに備え、前記ビューアが、認識装置により前記ビューアのフレームを分析する別個のスレッドを実行する、請求項１４に記載の装置。

【請求項16】

前記認識処理を実行することは、前記要求に関連する前記ペイロードで受信されたアイテムに対して前記オブジェクトをフィルタリングすることをさらに含み、各アイテムは、前記認識処理が実行された前記オブジェクトに関してトークン化及びステミングされる、請求項１４に記載の装置。

【請求項17】

第三者発信元から要求を受信してペイロードを生成し、
ビューアを介してライブビデオを受信し、前記ライブビデオ内のオブジェクトに対して認識処理を実行して、前記オブジェクトが前記ペイロード内のアイテムの候補であるかどうかを判断し、
前記オブジェクトが前記認識処理の決定と一致する可能性を示す閾値を用いて前記オブジェクトをフィルタリングし、
前記フィルタリングを通過したオブジェクトをアイテムとして選択可能に表示し、
前記アイテムの選択を示す入力を受信し、
前記選択されたアイテムに関連する情報を前記第三者発信元に送信して要求を完了すること、
を含むコンピュータ実装方法。

【請求項18】

前記第三者発信元が、データベース、ドキュメント、及びアプリケーションに関連する手動又は自動の要求のうちの１つ以上を含む、請求項１７に記載のコンピュータ実装方法。

【請求項19】

第三者発信元から要求を受信してペイロードを生成し、
ビューアを介してライブビデオを受信し、前記ライブビデオ内のオブジェクトに対して認識処理を実行して、前記オブジェクトが前記ペイロード内のアイテムの候補であるかどうかを判断し、
前記オブジェクトが前記認識処理の決定と一致する可能性を示す閾値を用いて前記オブジェクトをフィルタリングし、
前記フィルタリングを通過したオブジェクトをアイテムとして選択可能に表示し、
前記アイテムの選択を示す入力を受信し、
前記選択されたアイテムに関連する情報を前記第三者発信元に送信して要求を完了すること、
を含む方法をコンピュータに実行させる、プログラム。

【請求項20】

第三者発信元から要求を受信し、ペイロードを生成する手段と、
ビューアを介してライブビデオを受信し、前記ライブビデオ内のオブジェクトに対して認識処理を実行して、前記オブジェクトが前記ペイロード内のアイテムの候補であるかどうかを判断する手段と、
前記オブジェクトが前記認識処理の決定と一致する可能性を示す閾値を用いて前記オブジェクトをフィルタリングする手段と、
前記フィルタリングを通過したオブジェクトをアイテムとして選択可能に表示する手段と、
ユーザによる前記アイテムの選択を示す入力を受信する手段と、
前記選択されたアイテムに関連する情報を前記第三者発信元に送信して要求を完了する手段と、
を備える、要求を処理可能である装置。

【発明の詳細な説明】

【技術分野】

【0001】

実施例の態様は、アプリケーション、遠隔地の人物又は組織からの情報の要求への応答に関連する方法、プログラム、装置、及びユーザ体験に関連し、より具体的には、情報の要求をライブオブジェクト認識ツールに関連付けて、要求されたアイテム（項目）をカタログ化し、要求されたアイテムの現在の状態に関連する証拠を収集する。

【背景技術】

【0002】

関連技術では、アプリケーション、遠隔地の人物又は組織によって情報の要求が生成されることがある。そのような情報要求に応じて、関連技術のアプローチは、要求に関連付けられた物理オブジェクトの存在及び状態の少なくとも一方をドキュメント化することを伴い得る。例えば、写真、ビデオ、又はメタデータが、要求をサポートする証拠として提供され得る。

【0003】

いくつかの関連技術のシナリオでは、不動産仲介業者用に、買い手又は売り手によって不動産リストが生成され得る。不動産リストでは、買い手又は売り手、もしくは不動産仲介業者は、不動産のさまざまな特徴に関連するドキュメントを提供する必要がある。例えば、ドキュメントには、敷地の状態、不動産の建物内にある設備、備品やその他の用具の状態などに関する情報が含まれ得る。

【0004】

同様に、関連技術のシナリオには、短期間のレンタル（自動車、家屋などの宿泊施設など）が含まれ得る。例えば、賃貸人は、レンタルの前後に、アイテムの存在や状態の証拠など、資産のアイテムに関連する証拠を収集する必要があり得る。このような情報は、保守の実行、アイテムの交換、保険金請求の提出などが必要かどうかを評価するのに役立ち得る。

【0005】

保険金請求の場合、保険会社は証拠提供を請求者に要求する場合がある。例えば、衝突などによる自動車の損傷の場合、請求者は、保険金請求とともに写真又はその他の証拠などのメディアを提供する必要があり得る。

【0006】

別の関連技術の場合、オンラインで販売される物品（オブジェクト）などの動産の売り手は、オンライン販売ウェブサイト又はアプリケーションで公開するために、アイテムのさまざまな特徴をドキュメント化する必要があり得る。例えば、自動車の売り手は、購入希望者が車体、エンジン、タイヤ、インテリアなどの写真を見ることができるように、自動車のさまざまな部品の状態を記録する必要があり得る。

【0007】

さらに別の関連技術の場合、サービスを提供する主体（例えば、多機能プリンタ（ＭＦＰ）などのプリンタにサービスを提供する主体）は、サービスの提供前と提供後の両方で、サービスが実行される対象（オブジェクト）の状態をドキュメント化する必要があり得る。例えば、検査官又はフィールド技術者は、作業指示を提出する前に１つ又は複数の特定の問題をドキュメント化するか、作業指示が正常に完了したことを確認し、サービスの前後に対象の物理的状態を確認する必要があり得る。

【0008】

医療分野における関連技術のアプローチでは、手術器具の確認と一覧の作成が必要である。外科的処置では、外科的有害事象（ＳＡＥ）を回避するために、外科手術の実施後にすべての手術器具が正常に収集され、把握されていることが重要である。より具体的には、手術中に不注意でアイテムが患者の体内に残され、その後除去されない場合、外科的有害事象として「異物遺残（retained surgical item：ＲＳＩ）」が発生し得る。

【0009】

医療分野における別の関連技術のアプローチでは、医療専門家は、患者の問題の適切なドキュメントを確認する必要があり得る。例えば、医療専門家は、患者から、傷、皮膚障害、手足の柔軟性の状態、又は他の医学的状態のドキュメントを提供される必要がある。この必要性は、遠隔医療インターフェースなどを介して遠隔で対応する患者を考慮する場合に特に重要である。

【0010】

前述の関連技術のシナリオなどでは、ドキュメントを提供する関連技術の手順がある。より具体的には、関連技術では、要求を完了させるために必要なドキュメントは静的リストから生成され、情報はその後に要求者に提供される。さらに、更新を行う必要がある場合は、更新を手動で実行する必要がある。

【0011】

しかし、この関連技術のアプローチには、さまざまな問題及び欠点がある。例えば、これに限定されないが、静的リストから受け取った情報は、不完全又は不正確なドキュメントにつながり得る。さらに、時間とともに状況が変化しても、静的リストはまれにしか更新されないか、手動で更新及び検証される場合があり得る。静的リストが十分に迅速に更新されない場合、又は更新と検証が手動で実行されない場合、物理的オブジェクトの状態に関連する文書が正確で完全かつ最新であると誤って理解又は想定され、このような文書への依存に関連して上記の問題につながる。

【0012】

したがって、物理的オブジェクトの状態の最新かつ正確なドキュメントを提供し、ドキュメントの手動更新及び検証に関連する問題と欠点とを回避するリアルタイム・ドキュメンテーションを提供するという、関連技術において満たされていないニーズがある。

【先行技術文献】

【非特許文献】

【0013】

【文献】"How to Retrain an Image Classifier for New Categories" TensorFlow, https://www.tensorflow.org/hub/tutorials/image retraining; ２０１９年６月１０日検索

【文献】BOHANNON, CAITLYN "State Farm claims app adds object recognition for simple submission" RETAILDIVE, https:// www.retaildive.com/ex/mobilecommercedaily/state-farm-claims-app-adds-object-recognition-for-simple-submission; ２０１９年６月１０日検索

【文献】Tractable; https://tractable.ai/products/car-accidents/; ２０１９年６月１０日検索

【文献】SEIF, GEORGE "Transfer Learning for Image Classification using Keras" Towards Data Science; https://towardsdatascience.com/transfer-learning-for-image-classification-using-keras-c47ccf09c8c8; ２０１９年６月１０日検索

【文献】ViewSpection; https://www.viewspection.com; ２０１９年６月１０日検索

【文献】CARTER, S. et al. "Nudgecam: Toward targeted, higher quality media capture". In Proceedings of the International Conference on Multimedia, MM’10, ２０１０年１０月２５日～２９日; pp. 615-618; イタリア国フィレンツェ

【文献】SEGVIC, S. et al. "A computer vision assisted geoinformation inventory for traffic infrastructure" In Proceedings of the International IEEE Conference on Intelligent Transportation Systems, ２０１０年; pp. 66-73

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明は、情報の要求に対し、ライブビデオによるオブジェクト検出を用いて、要求されたアイテム（項目）をカタログ化することができる方法、プログラム及び装置を提供することを課題とする。

【課題を解決するための手段】

【0015】

実施例の態様によれば、第三者（ｔｈｉｒｄ ｐａｒｔｙ）発信元から、又はテンプレートにより、要求を受信してペイロードを生成し、ビューアを介してライブビデオを受信し、ライブビデオ内のオブジェクトに対して認識処理を実行してオブジェクトがペイロード内のアイテムであるかどうかを判断し、オブジェクトが認識処理の判断に一致する可能性を示す閾値を用いてオブジェクトをフィルタリングし、アイテムの選択を示す入力を受信し、受信した入力に基づいてテンプレートを更新し、オブジェクトに関連付けられた情報を提供して要求を完了する、コンピュータ実装方法が提供される。

【0016】

さらなる態様によれば、第三者の外部発信元から受信した要求について、第三者の外部発信元は、データベース、ドキュメント、及びアプリケーションに関連する手動又は自動化された要求の１つ以上を含む。

【0017】

さらなる態様によれば、テンプレートを介して受信された要求について、ドキュメントが解析されてアイテムが抽出され、テンプレート分析アプリケーションプログラミングインターフェース（ＡＰＩ）がペイロードを生成してもよい。

【0018】

さらに他の態様によれば、ユーザは、階層配列において１つ以上のセクションのアイテムを選択することができる。

【0019】

さらに他の態様によれば、ビューアは、認識装置によりビューアのフレームを分析する別個のスレッドを実行する。

【0020】

さらなる態様によれば、オブジェクトは、要求に関連付けられたペイロードで受信されたアイテムに対してフィルタリングされる。また、各アイテムは、認識処理が実行されたオブジェクトに関してトークン化及び抽出（ステミング：stemming）される。

【0021】

さらなる態様によれば、認識処理は、要求に基づいて、ビューア内にあると判定されたオブジェクトの閾値を引き上げるように動的に適合される。

【0022】

さらなる態様によれば、情報は、記述（説明）、メタデータ、及びメディアのうちの少なくとも１つを含む。

【0023】

実施例は、記憶装置及びプロセッサを有する非一時的コンピュータ可読媒体も含んでいてもよく、プロセッサは、オブジェクト検出によりライブビデオ内の物理的オブジェクトの状態を評価するための命令を実行可能である。

【0024】

本発明の別の態様は、第三者発信元から、又はテンプレートにより、要求を受信してペイロードを生成し、ビューアを介してライブビデオを受信し、ライブビデオ内のオブジェクトに対して認識処理を実行して、オブジェクトがペイロード内のアイテムであるかどうかを判断し、オブジェクトが認識処理の決定と一致する可能性を示す閾値を用いてオブジェクトをフィルタリングし、アイテムの選択を示す入力を受信し、受信した入力に基づいてテンプレートを更新し、オブジェクトに関連付けられた情報を提供して要求を完了すること、を含む方法をコンピュータに実行させる、プログラムである。

【0025】

ユーザは、１つ以上のセクションのアイテムを選択することができてもよい。

【0026】

ビューアは、認識装置でビューアのフレームを分析する別個のスレッドを実行してもよい。

【0027】

本方法は、要求に関連するペイロードで受信されたアイテムに対してオブジェクトをフィルタリングすることをさらに含んでもよく、各アイテムは認識処理が実行されたオブジェクトに関してトークン化及びステミングされてもよい。

【0028】

認識処理は、要求に基づいて前記ビューア内にあると判定された前記オブジェクトの閾値を引き上げるように動的に適合されてもよい。

【0029】

情報は、記述、メタデータ、及びメディアのうちの少なくとも１つを含んでもよい。

【0030】

本発明の別の態様は、要求を処理可能である装置であって、テンプレートにより前記要求を受信し、ペイロードを生成する手段と、ビューアを介してライブビデオを受信し、ライブビデオ内のオブジェクトに対して認識処理を実行して、前記オブジェクトが前記ペイロード内のアイテムであるかどうかを判断する手段と、オブジェクトが認識処理の決定と一致する可能性を示す閾値を用いてオブジェクトをフィルタリングする手段と、ユーザによるアイテムの選択を示す入力を受信する手段と、受信した前記入力に基づいてテンプレートを更新し、オブジェクトに関連付けられた情報を提供して要求を完了する手段と、を備えて構成される。

【0031】

ビューアをさらに備え、ビューアは、認識装置により前記ビューアのフレームを分析する別個のスレッドを実行してもよい。

【0032】

認識処理を実行することは、要求に関連するペイロードで受信されたアイテムに対してオブジェクトをフィルタリングすることをさらに含み、各アイテムは、認識処理が実行されたオブジェクトに関してトークン化及びステミングされてもよい。

【0033】

認識処理の実行が、要求に基づいてビューア内にあると判定されたオブジェクトの閾値を引き上げるように動的に適合されてもよい。

【図面の簡単な説明】

【0034】

【図1】実施例によるデータフローのさまざまな態様を示す。

【図2】実施例によるシステムアーキテクチャのさまざまな態様を示す。

【図3】いくつかの実施例によるユーザ体験の例を示す。

【図4】いくつかの実施例によるユーザ体験の例を示す。

【図5】いくつかの実施例によるユーザ体験の例を示す。

【図6】いくつかの実施例によるユーザ体験の例を示す。

【図7】いくつかの実施例によるユーザ体験の例を示す。

【図8】いくつかの実施例によるユーザ体験の例を示す。

【図9】いくつかの実施例のプロセス例を示す。

【図10】いくつかの実施例での使用に適した例示的なコンピュータ装置を備えた例示的なコンピューティング環境の例を示す。

【図11】いくつかの実勢例に適した環境の例を示す。

【発明を実施するための形態】

【0035】

以下の詳細な説明は、本出願の図面及び実施例のさらなる詳細を提供する。図面間で重複する要素参照番号と説明は、明確性のために省略されている。説明全体で使用される用語は例として提供されており、限定することを意図したものではない。

【0036】

実施例の態様は、情報要求をライブオブジェクト認識ツールに結合することで、要求されたアイテムを半自動でカタログ化し、要求されたアイテムの現在の状態に関する証拠を収集することに関連するシステム及び方法に関する。例えば、ユーザは、ビデオカメラなどのビューア（例えば検知装置）を介して、環境を検知又はスキャンすることができる。さらに、関心対象である１つ以上のオブジェクトに関連付けられたメディアをカタログ化し、キャプチャするために、環境のスキャンが実行される。本実施例によれば、情報要求が取得され、対象（オブジェクト）がオンラインモバイルアプリケーションのライブビデオで検出され、情報要求に対する応答が提供される。

【0037】

図１は、データフロー図に関連付けられた実施例１００を示している。実施例１００の説明は、実施例のフェーズ、すなわち、（１）情報要求の取得、（２）ライブビデオによるオブジェクトの検出、及び（３）情報要求に対する応答の生成、に関して提供される。本明細書では前述のフェーズについて説明しているが、フェーズの前、間、又は後に他の動作が行われてもよい。さらに、フェーズは即時に順番に実行される必要はなく、シーケンス間に一時停止時間をもって実行されてもよい。

【0038】

情報要求取得フェーズでは、要求が処理のためにシステムに提供される。例えば、１０１に示すように、外部システムは、アプリケーション又は他のリソースからの情報記述子などの情報要求をオンラインモバイルアプリケーションに送信することができる。一実施例によれば、要求される情報に関連するテキスト記述を含むペイロード（情報本体）が取得され得る。例えば、ペイロード（例えば、JavaScript Object Notation：ＪＳＯＮなど）には、要求されたアイテムが現在選択されているかどうか、アイテムの種類（ラジオボックス項目、写真などのメディアなど）、及びアイテムが属するグループ又はセクションの説明のような追加の情報が、任意選択的に含まれ得る。

【0039】

追加的に、１０３に示すように、情報要求を生成するために１つ以上のドキュメントテンプレートが提供されてもよい。本実施例では、ラジオボックスなどのドキュメント内の１つ以上のアイテムを抽出するために、ドキュメント分析ツールによる解析を実行することができる。ドキュメント分析ツールは任意選択的に、ドキュメントテンプレートに基づいて、写真、説明テキストなどを含むメディアなどの、より複雑な要求の抽出を実行し得る。

【0040】

１０１及び１０３に関して上述したように、情報要求が取得されると、オンラインモバイルアプリケーションは、情報要求に基づいてユーザインターフェースを提供する。例えば、ユーザインターフェースはビデオベースであり得る。１０３に関して上述したように、ユーザはペイロードを生成するためにリストから選択することができる。１０３で取得された情報は、ライブビューア（例えばビデオカメラ）に提供され得る。１０３でのアプローチ例に関連するさらなる説明を図３に示し、以下でさらに説明する。

【0041】

１０５で、ビデオベースのオブジェクト認識装置が起動する。実施例のさまざまな態様によれば、図４に関して以下でさらに詳細に説明するように、１つ以上のアイテムがライブビデオディスプレイ上にオーバーレイ表示され得る（例えば、候補アイテムが右上に表示され、ビューア内に表示されるライブビデオにオーバーレイされる）。ドキュメントテンプレートの異なるセクションに関連付けられたラジオボックスなど、異なるセクションを持つトークンがペイロードに含まれる場合、ユーザには、図４の左下に示すような、選択可能なセクションのリストを含む表示が提供される。

【0042】

１０７で、フィルタリング動作が実行される。具体的には、信頼度の低いオブジェクトは除外される。１０９では、情報要求からのアイテムに対してフィルタリングが実行されるため、現在のリスト内のオブジェクトがビデオフレーム内で検出される。例えば、図４に関して、選択されている特定のセクションに対して、現在のアイテムのリストに対してフィルタが適用される。実施例によれば、ユーザは、以下でさらに説明するように、ドキュメントの異なるセクションで類似した名前のアイテムを選択することができる。

【0043】

ユーザが操作するビューアは環境内のビューアをスキャンするため使われるため、オブジェクト認識装置を使用してライブビューアがフレームを分析する別のスレッドを実行する。一実施例によれば、ＴｅｎｓｏｒＦｌｏｗＬｉｔｅフレームワークが、約１０００種類のアイテムを含み得るＩｍａｇｅＮｅｔデータセットで学習された画像認識モデル（例えばＩｎｃｅｐｔｉｏｎ－ｖ３）で使用される。上述のように、構成可能な閾値フィルタが、システムが、信頼度が低いとするオブジェクトを排除する。

【0044】

構成可能な閾値フィルタを通過するオブジェクトは、次いで、情報要求に関連付けられたアイテムに対してフィルタリングされる。オブジェクトがこのフィルタを通過するために、各アイテムはトークン化及び抽出（ステミング）され、次いでオブジェクトの記述が認識される。次に、各アイテムの少なくとも１つのトークンが、認識されたオブジェクトの少なくとも１つのトークンと一致される必要がある。例えば、これに限定されないが、「Ｃｏｆｆｅｅ Ｆｉｌｔｅｒ」は「Ｃｏｆｆｅｅ」、「Ｃｏｆｆｅｅ Ｐｏｔ」などに一致することとなる。

【0045】

オブジェクトが第２のフィルタを通過すると、１１１でオブジェクトのフレームがキャッシュされる。１１３で、オブジェクトは、ユーザインターフェース内のアイテムが強調表示されるなどにより、ユーザにより選択可能とされる。任意選択的に、キャッシュには、オプションとしての高解像度写真などのメディア又はオブジェクトの他のタイプのメディアが含まれてもよい。

【0046】

さらに、オブジェクト認識装置は動的に適応できることに留意されたい。例えば、情報要求に基づいて、そのシーンで予想されるオブジェクトの種類の認識信頼度を強化させることができる。

【0047】

ライブビデオでオブジェクトが検出されると、情報要求に対する応答が生成される。例えば、１１５において、ユーザは、クリック又はその他の方法でアイテムを選択する意思表示をすることにより、強調表示されたアイテムを選択することができる。

【0048】

１１５でアイテムが選択されると、そのアイテムは候補アイテムのリストから削除され、選択されたアイテムのリストへ移される。例えば、図５のシーケンスに示すように、「Ｄｉｓｈｗａｓｈｅｒ」という言葉が選択されているので、これは上方の候補アイテムのアイテムリストから削除され、上方のアイテムリストの下にある選択されたアイテムのリストに移動される。

【0049】

１１７で、オブジェクト選択イベントとメディアがアプリケーションに返される。さらに、バックグラウンドスレッドで、アプリケーションは、選択されたアイテムの記述及びメタデータ、並びにキャッシュされたメディア（写真など）を要求元のサービスに転送する。例えば、選択はバックエンドサービスに提供され得る。

【0050】

１１９では、対応するドキュメントテンプレートの更新が即時（on-the-fly）で実行される。より具体的には、バックエンドサービスは、ラジオボックスに対応するアイテムを選択し得る。１２１では、写真などのアップロードされたメディアへのリンクの挿入など、対応する文書テンプレートにメディアが挿入される。

【0051】

任意選択的に、ユーザは、オンラインモバイルアプリケーションとの相互作用により、任意の時点でアイテムを選択解除することができる。選択解除アクションは、選択解除イベントを生成し、これはリスティングサービスに提供される。

【0052】

さらに、オンラインモバイルアプリケーションには、ドキュメントエディタ及びビューアが含まれてもよい。したがって、ユーザは、オブジェクト認識装置によって提供される更新を確認することできる。

【0053】

図２は、実施例に関連するシステムアーキテクチャ２００を示している。ドキュメントテンプレートのデータベース又は情報ベース２０１が提供されてもよく、情報要求を取得するために、２０３にドキュメントテンプレート分析アプリケーションプログラミングインターフェース（ＡＰＩ）が提供され得る。

【0054】

さらに、１つ以上のサードパーティアプリケーション２０５を使用して、情報要求を取得してもよい。いくつかの実施例では、情報要求は、テンプレートに関連付けられていない１以上の発信元から受信され得る。例えば、これに限定されないが、医療シナリオでは、医師などの医療専門家は、遠隔で医療機器の配置に関するメディアを収集するように患者に要求することがある（例えば自宅又は遠隔医療キオスクにおいて）。この要求により収集されたデータは、医療専門家向けのサマリードキュメントに提供又は挿入されるか、又はリモートサーバのデータベースフィールドに挿入され、１つ以上のインターフェース部（例えばモバイルメッセージング、電子健康記録のタブなど）を介して医師に提供（例えば表示）される。

【0055】

さらなる実施例によると、収集された情報の一部はエンドユーザインターフェース部では提供されず、代わりにアルゴリズムに提供又は挿入され得る（例えば、保険目的の損害に関する写真の要求は、補償を査定するためにアルゴリズムに直接供給される）。さらに、情報要求は、サードパーティアプリケーションからの手動又は自動の要求など、テンプレート以外の発信元から生成されてもよい。

【0056】

オブジェクト検出を実行し、情報要求に応答するために、オンラインモバイルアプリケーション２０７が、モバイル装置上のビデオカメラなどのビューアを介してユーザに提供される。これは例えばそれぞれ１０５～１１３及び１１５～１２１に関して上述されている。１０５～１１３に関して上述したように、ライブビデオでオブジェクトの検出を実行するために、オブジェクト認識部２０９が提供されてもよい。さらに、１１５～１２１に関して上述したように、情報要求に応答するために、ドキュメントエディタ及びビューア２１１が提供されてもよい。

【0057】

前述のシステムアーキテクチャ２００は、データフロー１００の実施例に関して説明されているが、本実施例はこれに限定されず、本発明の範囲から逸脱することなくさらなる変更が採用されてもよい。例えば、これに限定されないが、並行して実行される一連の動作は、代わりに連続して実行されてもよく、又はその逆でもあってもよい。さらに、オンラインモバイルアプリケーションのクライアントで実行されるアプリケーションは、遠隔で実行されてもよく、その逆であってもよい。

【0058】

さらに、実施例には、オブジェクトの誤認識の処理に関する態様が含まれる。例えば、これに限定されないが、ユーザが携帯電話のビデオカメラなどのビューアに指示しても、オブジェクトそのものがオブジェクト認識装置によって認識されない場合、対話的サポートがユーザに提供されてもよい。例えば、これに限定されないが、対話的サポートは、依然として情報を取得する選択肢をユーザに提供するか、又はオブジェクトに関連付けられた追加的な視覚的証拠を提供するようにユーザに指示してもよい。任意選択的に、新しく取得されたデータをオブジェクト認識モデルで使用して、モデルの改善を行ってもよい。

【0059】

例えば、これに限定されないが、オブジェクトの外観が変化した場合、オブジェクト認識装置はオブジェクトをうまく認識できない場合がある。一方、ユーザにとっては、オブジェクトをリストから選択し、視覚的な証拠を提供する必要がある。状況の一例として自動車の車体の例が挙げられるが、フェンダなどの元々滑らかな形状を持つオブジェクトに対し、後に衝突などが生じ、損傷又は外観を損なわれたことにより、これがオブジェクト認識装置によって認識できなくなる。

【0060】

ユーザが自動車のフェンダなどの所望のオブジェクトにビューアを配置し、オブジェクト認識装置がオブジェクトを正しく認識しない場合、又はオブジェクトをまったく認識しない場合、ユーザには手動で介入する選択肢が提供されてもよい。より具体的には、ユーザは、フレーム、高解像度画像、又はフレームシーケンスが取得されるように、リスト内のアイテムの名前を選択することができる。ユーザは次いで、選択したタイプのオブジェクトが表示されているかどうかを確認するように求められる。任意選択的に、ユーザは、追加の側面又は視角から追加の証拠を提供することを提案するか、又はユーザにそれを要求してもよい。

【0061】

さらに、提供されたフレーム及びオブジェクト名を新しいトレーニングデータとして使用して、オブジェクト認識モデルを改善することができる。任意選択的に、新しいデータがオブジェクトに関連付けられていることをユーザが確認するための検証を実行してもよく、このような検証は、モデルの変更前に実行することができる。状況の一例では、オブジェクトは一部のフレームで認識可能であり得るが、すべてのフレームで認識できるわけではない。

【0062】

追加的な実施例によれば、ターゲット領域に対してさらなる画像認識モデルが生成されてもよい。例えば、これに限定されないが、再トレーニングや転移学習などの領域の画像認識モデルが生成され得る。さらに他の実施例によれば、リンクされたドキュメントテンプレートに明確に現れないオブジェクトが追加されてもよい。例えば、これに限定されないが、オブジェクト認識装置は、上位レベルのセクション又はカテゴリに一致するドキュメントから検出されたオブジェクトを含む出力を生成してもよい。

【0063】

さらに、前述の実施例は、読み込まれるか又は抽出される情報記述子を使用してもよいが、他の態様は、要求された情報のリストを構築するために前述の技術を使用することに関していてもよい。例えば、これに限定されないが、チュートリアルビデオに、ビデオと即時のオブジェクト検出を使用して必要なツールのリストを収集するための手順が提供されてもよい。

【0064】

いくつかの追加的な実施例によると、ユーザがテンプレートの階層を使用できるようにすることに加えて、他のオプションも提供され得る。例えば、ドキュメント分析を実行するため、既存の階層を変更するか、又は全く新しい階層を作成するための設定やオプションがユーザに提供されてもよい。

【0065】

図３は、本実施例によるユーザ体験に関連する態様３００を示している。これらの実施例には、図１及び図２に関して上述した態様の実装においてオンラインモバイルアプリケーションに提供される表示が含まれるが、これらに限定されない。

【0066】

具体的には、３０１で、ドキュメントの現在の状態の出力が表示される。このドキュメントは、３０５でユーザに提供されるドキュメントのリストから生成される。これらの要求に関連する情報は、オンラインアプリケーション、又は、リスト作成、保険金請求又はその他の要求を完了させるために、ウィザードやその他の一連の段階的な指示を通じてユーザをガイドするチャットボットを介して取得される。

【0067】

３０１に示される態様はテンプレートを示しており、この場合ではレンタルリストに関している。テンプレートには、レンタルなどのリストに存在する可能性があり、ドキュメント化する必要があるアイテムが含まれ得る。例えば、３０１に示すように、物件の画像が写真画像とともに表示され、その後にレンタル物件のさまざまな部屋のリストが表示される。例えば、キッチンに関しては、キッチンのアイテムが個別にリストされる。

【0068】

図１の１０１～１０３に関して上述したように、ドキュメントテンプレートは、さまざまなアイテムを提供し、３０３に示すようなペイロードが抽出され得る。３０５では、複数のドキュメントが示されており、そのうちの最初のものが３０１に示される出力である。

【0069】

図４は、本実施例によるユーザ体験に関連する追加的な態様４００を示している。例えば、これに限定されないが、４０１では、ユーザのアプリケーションにおけるドキュメントのリストが示されている。ユーザは、ドキュメントを１つ（この場合は最初にリストされているドキュメント）を選択して、４０３に示すように、選択されていないドキュメントにリストされているすべてのアイテムを含む、ドキュメントにカタログ化できるすべてのアイテムの出力を生成する。４０３の左下部分に示されているように、複数のセクションが選択のために示されている。

【0070】

４０７で、インターフェースの下部にあるスクロールリストから、「Ｋｉｔｃｈｅｎ」などのセクションが選択された状況では、出力４０７がユーザに提供される。より具体的には、選択されたセクションに存在する未選択のアイテム、この場合はキッチンに存在するアイテムのリストが提供される。

【0071】

図５は、本実施例によるユーザ体験に関連する追加的な態様５００を示している。例えば、これに限定されないが、５０１では、ユーザは、ビューア又はビデオカメラの焦点を自分のいるキッチンの一部に合わせている。オブジェクト認識装置は、上述した動作によりアイテムを検出する。オブジェクト認識装置は、５０３の強調表示されたテキストに示すように、この場合は「Ｄｉｓｈｗａｓｈｅｒ」である、検出されたアイテムの強調表示をユーザに提供する。

【0072】

５０５に示されるように、クリック、ジェスチャなどにより、ユーザが強調表示されたアイテムを選択すると、５０７に示されるような出力が表示される。より具体的には、ビューアに関連付けられたライブビデオの食器洗い機にはラベルが付けられ、５０５の右上に表示されるキッチンの「Ｄｉｓｈｗａｓｈｅｒ」という言葉にラベルが付けられる。

【0073】

したがって、５０５に示されるようなアイテムを選択することにより、関連するドキュメントが更新される。より具体的には、５０９に示されるように、リストに示される「Ｄｉｓｈｗａｓｈｅｒ」という言葉は、写真などのメディアを含むさらなる情報とリンクされる。

【0074】

さらに、５１１に示すように、リンクされた言葉がユーザによって選択されると、５１３に示すように、リンクされた言葉に関連付けられたアイテム、この場合は食器洗い機の画像が表示される。この実施例では、アイテムの半自動カタログ化を伴う、ライブビデオを使用したライブオブジェクト認識を提供する。

【0075】

図６は、本実施例によるユーザ体験に関連する追加的な態様６００を示している。この実施例では、上述したような選択が行われ、食器洗い機のアイテムがキッチンアイテムに追加されている。

【0076】

６０１で、ユーザは、携帯電話のビデオカメラなどの画像取得装置の焦点をコーヒーメーカの方向に動かす。オブジェクト認識装置は、画像の焦点にあるオブジェクトがコーヒーメーカとして特徴付けられているか、又は認識されていることを示す。

【0077】

６０３で、ユーザは、クリック又はジェスチャ、もしくはオンラインアプリケーションと相互作用する他の方法により、コーヒーメーカを選択する。６０５で、コーヒーメーカはインターフェースの右下にあるキッチンセクションのアイテムのリストに追加され、右上隅の選択されていないアイテムのリストから削除される。

【0078】

したがって、上述の開示に示されているように、ビューアの焦点を移動することで、ユーザはすでに選択されている最初の項目に加えて、オブジェクト認識機能を使用して別のオブジェクトを識別及び選択することができる。

【0079】

図７は、本実施例によるユーザ体験に関連する追加的な態様７００を示している。この実施例では、上述したような選択が行われ、コーヒーメーカのアイテムが、選択されたキッチンアイテムのリストに追加されている。

【0080】

７０１で、ユーザは、ビューアの焦点を台所の冷蔵庫の方向に動かす。ただし、冷蔵庫の横には電子レンジもある。オブジェクト認識装置は、７０１の未選択アイテムリストで強調表示されているように、ライブビデオに２つの未選択アイテム、つまり冷蔵庫と電子レンジがあることを示す。

【0081】

７０３で、ユーザは、クリック、ユーザのジェスチャ又はオンラインアプリケーションとのその他の相互作用により、冷蔵庫を選択する。したがって、７０５で、冷蔵庫は未選択アイテムのリストから削除され、キッチンセクションの選択されたアイテムのリストに追加される。さらに、７０７で、関連ドキュメントが更新されて、冷蔵庫、食器洗い機、流しへのリンクが表示される。

【0082】

実施例によれば、オブジェクト認識装置は、ユーザが１つ以上のオブジェクトを選択できるように、ライブビデオにある複数のオブジェクトの選択肢をユーザに提供してもよい。

【0083】

図８は、本実施例によるユーザ体験に関連する追加的な態様８００を示している。８０１に示すように、ユーザはドキュメントのリストからドキュメントの１つを選択し得る。この実施例では、ユーザが販売用に提供している自動車を選択する。ドキュメントは８０３で示され、メディア（例えば写真）、記述（説明）、及びオブジェクトに関連付けられ得るアイテムのリストを含む。

【0084】

８０５では、オブジェクト認識装置に関連付けられたインターフェースが示されている。より具体的には、ライブビデオは車両の一部、即ち車輪に焦点が合わせられている。オブジェクト認識装置は、ドキュメント内のアイテムから、ライブビデオ内のアイテムが助手席側又は運転席側の前輪又は後輪であることを示す。

【0085】

８０７で、ユーザは、クリック、ジェスチャ又はオンラインモバイルアプリケーションとのその他の相互作用などによって、ユーザインターフェースから運転席側の前輪を選択する。したがって、８０９で、運転席側の前輪がドキュメント内の未選択アイテムのリストから削除され、右下隅の選択されたアイテムのリストに追加される。８１１で、ドキュメントが更新されて、運転席側の前輪がリンクされていることが示され、リンクで選択すると、８１３で、潜在的な購入者などに運転席側の前輪の画像が示される。

【0086】

図９は、実施例による例示的なプロセス９００を示している。プロセス例９００は、本明細書で説明されるように、１つ以上の装置上で実行され得る。

【0087】

９０１で、（例えば、オンラインモバイルアプリケーションで）情報要求が受信される。より具体的には、情報要求は、第三者の外部発信元から、又はドキュメントテンプレートを介して受信され得る。情報要求がドキュメントテンプレートを介して受信された場合、ドキュメントを解析してアイテム（ラジオボックスなど）を抽出し得る。この情報は、例えば、ペイロードとしてドキュメントテンプレート分析ＡＰＩを介して受信され得る。

【0088】

９０３で、ライブビデオオブジェクト認識が実行される。例えば、ペイロードがライブビューアに提供され、ユーザにアイテムのリストからアイテムを選択する機会が提供され得る。ユーザが１つ以上のセクションの項目を選択できるように、１つ又は複数の階層が提供され得る。さらに、ライブビューアは、オブジェクト認識装置でフレームを分析する別のスレッドを実行する。

【0089】

９０５で、オブジェクトが認識されると、各オブジェクトがフィルタリングされる。より具体的には、ライブビデオ内のオブジェクトがオブジェクト認識装置の結果と一致する可能性を示す信頼閾値に対してオブジェクトがフィルタリングされる。

【0090】

９０７では、フィルタの適用後に残っているオブジェクトについて、ユーザに選択肢が提供される。例えば、フィルタリング後に残ったオブジェクトは、ユーザインターフェース上のリストとしてユーザに提供され得る。

【0091】

９０９で、オンラインモバイルアプリケーションのユーザインターフェースは、アイテムの選択を示す入力を受信する。例えば、ユーザはクリック、ジェスチャ、又はオンラインモバイルアプリケーションとの相互作用を使用して、リストからアイテムを選択することができる。

【0092】

９１１では、受信したユーザ入力に基づいてドキュメントテンプレートが更新される。例えば、アイテムは未選択アイテムのリストから削除され、選択されたアイテムのリストに追加され得る。さらに、９１３で、別のスレッド上で、アプリケーションは、選択されたアイテムの記述及びメタデータ、並びにキャッシュされた写真を、例えば要求サービスに提供する。

【0093】

前述の実施例では、ユーザに関連付けられたオンラインモバイルアプリケーション上で動作が実行される。例えば、クライアント装置には、ライブビデオを受信するビューアが含まれ得る。しかし、実施例はこれに限定されず、本発明の範囲から逸脱することなく、他のアプローチが代わりに使用されてもよい。例えば、これに限定されないが、他の例示的なアプローチでは、クライアント装置から遠隔で（例えばサーバで）動作を実行してもよい。さらに他の実施例では、ユーザから遠隔のビューアを使用してもよい（例えば、オブジェクトの近くにあり、ユーザの物理的な存在なしに操作可能であるセンサ又はセキュリティビデオカメラ）。

【0094】

図１０は、いくつかの実施例での使用に適した例示的なコンピュータ装置１００５を備えた例示的なコンピューティング環境１０００を示している。コンピューティング環境１０００のコンピュータ装置１００５は、１つ以上の処理部、コア、又はプロセッサ１０１０、メモリ１０１５（例えばＲＡＭ、ＲＯＭなど）、内部記憶装置１０２０（例えば磁気、光学、ソリッドステートストレージ及び／又は有機記憶装置）及び／又はＩ／Ｏインターフェース１０２５を含むことができ、これらのいずれも、情報を通信するための通信機構又はバス１０３０に結合されるか、又はコンピュータ装置１００５に組み込まれることができる。

【0095】

コンピュータ装置１００５は、入力／インターフェース１０３５及び出力装置／インターフェース１０４０に通信可能に結合されることができる。入力／インターフェース１０３５及び出力装置／インターフェース１０４０のいずれか又は両方は、有線又は無線インターフェースであることができ、取り外し可能であってよい。入力／インターフェース１０３５には、入力を行うために使用できる物理的又は仮想の装置、構成要素、センサ、又はインターフェースが含まれ得る（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソルコントロール、マイク、カメラ、点字、モーションセンサ、光学式リーダなど）。

【0096】

出力装置／インターフェース１０４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含み得る。いくつかの実施例では、入力／インターフェース１０３５（例えばユーザインターフェース）及び出力装置／インターフェース１０４０を、コンピュータ装置１００５に組み込むか、又は物理的に結合することができる。他の実施例では、他のコンピュータ装置が、コンピュータ装置１００５の入力／インターフェース１０３５及び出力装置／インターフェース１０４０として機能するか、又はその機能を提供してもよい。

【0097】

コンピュータ装置１００５の例には、これらに限定されないが、高度モバイル装置（例えば、スマートフォン、車両及び他の機械内の装置、人間及び動物によって運ばれる装置など）、モバイル装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及び移動用に設計されていない装置（例えば、デスクトップコンピュータ、サーバ装置、その他のコンピュータ、情報端末、１つ以上のプロセッサが組み込まれるか結合されたテレビ、ラジオなど）が含まれていてもよい。

【0098】

コンピュータ装置１００５は、同じ又は異なる構成の１つ以上のコンピュータ装置を含む任意の数のネットワーク化された構成要素、装置、及びシステムと通信するために外部記憶装置１０４５及びネットワーク１０５０に通信可能に（例えば、Ｉ／Ｏインターフェース１０２５を介して）結合されることができる。コンピュータ装置１００５又は任意の接続されたコンピューティング装置は、サーバ、クライアント、シンサーバ、汎用機械、専用機械、又は別のラベルとして機能するか、サービスを提供するか、又はこれらと見做されることができる。例えば、これに限定されないが、ネットワーク１０５０はブロックチェーンネットワーク及びクラウドの少なくとも一方を含んでいてもよい。

【0099】

Ｉ／Ｏインターフェース１０２５は、コンピューティング環境１０００内の少なくともすべての接続された構成要素、装置、及びネットワークと情報をやり取りするため、任意の通信又はＩ／Ｏプロトコル又は標準（例えばイーサネット（登録商標）、８０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ（登録商標）、モデム、セルラーネットワークプロトコルなど）を使用する有線又は無線インターフェースを含むことができるが、これらに限定されない。ネットワーク１０５０は、任意のネットワーク又はネットワークの組み合わせであってよい（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラネットワーク、衛星ネットワークなど）。

【0100】

コンピュータ装置１００５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能又はコンピュータ可読媒体を使用及び通信することができる。一時的媒体には、伝送媒体（例えば金属ケーブル、光ファイバなど）、信号、搬送波などが含まれる。非一時的媒体には、磁気媒体（例えばディスク及びテープ）、光学媒体（例えばＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、固体素子媒体（例えばＲＡＭ、ＲＯＭ、フラッシュメモリ、固体素子記憶装置）及びその他の不揮発性記憶装置又はメモリが含まれる。

【0101】

コンピュータ装置１００５を使用して、いくつかの例示的なコンピューティング環境で技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実施することができる。コンピュータ実行可能命令は、一時的媒体から取得し、非一時的媒体に格納及びそこから取得されることができる。実行可能命令は、プログラム、スクリプト、及び機械語（例えばＣ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｐｅｒｌ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）など）の１つ以上から生成可能である。

【0102】

プロセッサ１０１０は、ネイティブ又は仮想環境で、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行可能である。論理部１０５５、アプリケーションプログラミングインターフェース（ＡＰＩ）部１０６０、入力部１０６５、出力部１０７０、情報要求取得部１０７５、オブジェクト検出部１０８０、情報要求応答部１０８５、及び異なる構成部が互いにＯＳ又は他のアプリケーション（図示せず）と通信するためのユニット間通信機構１０９５を含む、１つ以上のアプリケーションを配備することができる。

【0103】

例えば、情報要求取得部１０７５、オブジェクト検出部１０８０、及び情報要求応答部１０８５は、上述の構成に関して上述した１つ以上の処理を実施することができる。説明された構成部及び要素は、さまざまに設計、機能、構成、又は実装することができ、本明細書に提供された説明に限定されない。

【0104】

いくつかの実施例では、情報又は実行命令がＡＰＩ部１０６０によって受信されると、それは１つ以上の他の構成部（例えば、論理部１０５５、入力部１０６５、情報要求取得部１０７５、オブジェクト検出部１０８０、及び情報要求応答部１０８５）に通信され得る。

【0105】

例えば、情報要求取得部１０７５は、第三者発信元及びドキュメントテンプレートから情報を受信及び処理することができ、これはドキュメントテンプレートからの情報記述子の抽出を含む。情報要求取得部１０７５の出力はペイロードを提供し、これはオブジェクト検出部１０８０に提供され得る。オブジェクト検出部は、ドキュメントに含まれる情報に関して、オブジェクト認識装置を適用してライブビデオ内のアイテムの識別を出力することにより、ライブビデオでオブジェクトを検出する。また、情報要求応答部１０８５は、情報要求取得部１０７５及びオブジェクト検出部１０８０から取得した情報に基づいて、要求に応じた情報を提供し得る。

【0106】

場合によっては、上記のいくつかの実施例では、論理部１０５５は、構成部間の情報フローを制御し、ＡＰＩ部１０６０、入力部１０６５、情報要求取得部１０７５、オブジェクト検出部１０８０、及び情報要求応答部１０８５によって提供されるサービスを指示するように構成され得る。例えば、１つ以上のプロセスのフロー又は実装は、論理部１０５５のみによって、又はＡＰＩ部８６０と連動して制御されてもよい。

【0107】

図１１は、いくつかの実施例に適した環境例を示している。環境１１００は、装置１１０５～１１４５を含み、それぞれが、例えばネットワーク１１６０を介して（例えば、有線又は無線接続により）少なくとも１つの他の装置に通信可能に接続される。一部の装置は、１つ以上の記憶装置１１３０及び１１４５に通信可能に接続されてもよい。

【0108】

１つ以上の装置１１０５～１１４５の例は、それぞれ図１０に記載されたコンピュータ装置１００５であってよい。装置１１０５～１１４５は、上述のようなモニタ及び関連するウェブカメラを有するコンピュータ１１０５（例えば、ラップトップコンピュータ装置）、モバイル装置１１１０（例えば、スマートフォン又はタブレット）、テレビ１１１５、車両１１２０に関連する装置、サーバコンピュータ１１２５、コンピューティング装置１１３５～１１４０、記憶装置１１３０及び１１４５を含み得るが、これらに限定されない。

【0109】

いくつかの実装では、装置１１０５～１１２０は、オブジェクト検出と認識に使用するライブビデオを遠隔で取得する、ユーザに関連付けられたユーザ装置であるとされ、ドキュメントを編集及び表示するための設定とインターフェースをユーザに提供する。装置１１２５～１１４５は、（例えば、ドキュメントテンプレート、サードパーティアプリケーションなどに関連付けられた情報を保存及び処理するために使用される）サービスプロバイダに関連付けられた装置であってもよい。本実施例では、これらのユーザ装置の１つ以上は、ライブビデオを感知することができる１つ以上のビデオカメラを含むビューアに関連付けられてもよく、このようなビデオカメラは、ユーザのリアルタイムの動きを感知し、上述したように、オブジェクトの検出と認識、及び情報要求の処理のためにシステムへのリアルタイムのライブビデオフィードを提供する。

【0110】

実施例の態様には、さまざまな長所と利点がある。例えば、これに限定されないが、関連技術とは対照的に、本実施例は、ライブオブジェクト認識とアイテムの半自動カタログ化を統合する。したがって、この実施例では、他の関連技術のアプローチと比較して、オブジェクトが捕捉される可能性がより高くすることができる。

【0111】

例えば、不動産の一覧に関して、買い手又は売り手、又は不動産仲介業者は、上述の実施例を使用して、不動産のさまざまな特徴に関連付けられたライブビデオフィードからドキュメントを提供でき、ユーザ（例えば買い手、売り手、不動産業者）は、要求されたアイテムを半自動でカタログ化し、現在の物理的状態に関連する証拠を収集できる。例えば、ライブビデオフィードからのドキュメントには、敷地の状態、不動産の建物内にある設備、備品やその他の用具の状態などに関する情報が含まれ得る。

【0112】

同様に、短期間のレンタル（例えば家、自動車など）の場合、上述の実施例を使用して、賃貸人は、ライブビデオフィードを使用して存在の証拠並びにレンタルの前後でのアイテムの状態などの、物件のアイテムに関連する証拠を収集し得る。このような情報は、メンテナンスを実行する必要があるか、アイテムを交換する必要があるか、又は保険金請求などのために、より正確な評価をするのに有用であり得る。さらに、アイテムを半自動的にカタログ化する機能は、保険会社と被保険者がアイテムの状態をより正確に識別及び評価することができるようにする。

【0113】

さらに、保険請求の例では、上述の実施例を使用して、保険会社が請求者からライブビデオに基づいた証拠を取得することができる。例えば、衝突などによる自動車の損傷の場合、保険金請求者は、保険金請求とともに提出される、ライブビデオフィードに基づく写真やその他の証拠などのメディアを提供することができる。ユーザ及び保険会社は、請求をより正確に定義するために、アイテムを半自動でカタログ化することができる。

【0114】

上述の実施例の別の使用法では、オンラインで販売される物品などの動産の売り手は、オンラインアプリケーションを使用してライブビデオを適用し、アイテムのさまざまな側面をドキュメント化して、オンライン販売ウェブサイト又はアプリケーションで公開することができる。例えば、上述したように、自動車の売り手はライブビデオを使用して自動車のさまざまな部品の状態を記録し、半自動的にカタログ化されたアイテムのリストに基づいて、購入者の候補は車体、エンジン、タイヤ、インテリアなどの写真などのメディアを見ることができる。

【0115】

実施例のさらに別の用途では、サービスを提供する主体は、ライブビデオを使用して、サービスの提供前及び後にサービスが行われるオブジェクトの状態をドキュメント化することができる。例えば、ＭＦＰなどのプリンタを整備する検査官又は現場技術者は、作業指示を提出する前に１つ以上の特定の問題をドキュメント化するか、又は作業指示が正常に完了したことを確認する必要があり、サービスをより効率的に完了するために、半自動カタログ化機能を実行することができる。

【0116】

医療分野の実施例では、リアルタイムビデオを使用して手術器具を確認及び一覧作成をしてもよく、これにより、異物遺残などの外科的有害事象を回避するために、手術が行われた後、すべての手術器具が正常に収集及び確認されることを確実にできる。手術器具の数と複雑さを考えると、半自動カタログ化機能は、医療専門家がそのような事象をより正確かつ効率的に回避することを可能にする。

【0117】

医療分野での別の実施例では、医療専門家は、現在の状態を示すライブビデオを使用して、傷、皮膚障害、手足の柔軟性状態、又はその他の病状のドキュメントなど、患者の問題の適切なドキュメントを確認することができ、したがって、特に遠隔医療インターフェースなどを介した遠隔での患者の診察の場合、より正確に治療を実施することができる。医療専門家及び患者が特定の患者の問題に集中し、また患者のリアルタイムの状態に関してもそのようにするために、半自動カタログ化を実行することができる。

【0118】

いくつかの実施例が示され、説明されているが、これらの実施例は、当業者に本明細書で説明される主題を伝えるために提供される。本明細書で説明される主題は、説明される実施例に限定されることなく、さまざまな形態で実施され得ることを理解されたい。本明細書で説明される主題は、具体的に定義又は説明された事項なしに、或いは、他の又は異なる要素、あるいは説明されていない事項により実施することができる。当業者は、添付の特許請求の範囲などで定義される、本明細書で説明される主題から逸脱することなく、これらの実施例において変更が行われてもよいことを理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】