View a markdown version of this page

ウェブブラウザ - Amazon Quick

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ウェブブラウザ

概要:

ブラウザアクションは、ウェブインタラクションを実行するための包括的な自動化ツールキットを提供します。ブラウザセッションは自動的に管理され、必要に応じて開閉されます。Quick Automate は、AI を活用した自然言語の説明と正確な XPath セレクタによる柔軟な要素識別をサポートします。主な機能には、フォールバックメカニズムによるインテリジェントな要素ターゲティング、ポップアップを自動的に処理して失敗したアクションを再試行する自己修復機能、構造化テーブルコンテンツを含むデータ抽出、基本的なクリックや型付けから高度な AI 駆動型マルチステップタスクまでのインタラクションメソッドの完全なスイートなどがあります。

要素識別方法

  • 説明方法: AI を使用して自然言語の説明 (「ログインボタン」など) を使用して要素を識別し、UI の変更に対するオートメーションの耐障害性を高めます。

  • XPath セレクタメソッド: 正確な要素ターゲット (例: //button[text()='Log in']) に正確な XPath 式を使用します。

  • 複合アプローチ: 両方のメソッドを有効にすると、XPath は説明メソッドにフォールバックする前に最初に試行され、精度と適応性が結合されます。

タイプインとクリックで使用できるセルフヒーリング機能

  • HandlePopups: 予期しないダイアログ、Cookie 通知、オーバーレイを自動的に検出して処理し、ブロック要素がワークフローを中断するのを防ぎます。

  • ValidateAndRetry: スクリーンショットの比較を通じてアクションの成功を検証し、必要に応じて再試行して、誤った失敗を減らします。

ブラウザセッション管理

ブラウザインスタンスは自動的に作成され、ワークフロー全体で維持され、完了すると適切にクリーンアップされます。restart_browser アクションは、ログインタイムアウトやセッションの有効期限などのシナリオで、必要に応じて新しいセッションを許可します。

ブラウザセッションの開始

新しいブラウザセッションを開きます。内のアクションは、このブラウザとやり取りします。ブラウザは、完了すると自動的に閉じます。

プロパティ:

  • アクションタイトル (テキストのみ): プロセスの視覚化に表示されるアクションのタイトル (デフォルト: Browser)

注記
  1. すべてのブラウザアクションはブラウザセッションスコープ内に配置する必要があります

  2. 各ブラウザスコープはブラウザセッションです。スコープ内のアクションが完了すると、ブラウザは自動的に閉じます。

ウェブページに移動する

特定の URL に移動します。現在のブラウザタブで新しいウェブページに移動するために使用されます。

プロパティ:

  • URL (必須): 移動先のウェブアドレス (「example.com」など) 注: これを操作するときは、完全な URL を指定してください。

クリック

ウェブページ要素をクリックします。ボタン、リンク、またはその他のクリック可能な要素を操作するために使用されます。

プロパティ:

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • Description フィールド (条件付きで必須): クリックするブラウザ要素の自然言語の説明 (「送信ボタン」など)。要素の説明だけでなく、 要素で アクションを使用しないでください。

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//input[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

  • マウスボタン (ドロップダウン): クリックするマウスボタン - 左、中央、右 (デフォルト: 左、オプション)

  • クリックタイプ (ドロップダウン): シングルクリックまたはダブルクリック (デフォルト: シングル、オプション)

  • ファイルのダウンロードの取得 (ラジオボタン): クリックでファイルをダウンロードすると有効になります (デフォルト: OFF、オプション)

  • ダウンロードされたファイル (出力、条件付きで必須): ダウンロードされたファイルを保存する変数名 (デフォルト: download_file)

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります

  • 両方のメソッドを有効にすると、説明に戻る前に XPath セレクタが最初に試行されます。

テキストの入力

入力フィールドにテキストを入力します。ウェブページのフォーム、検索ボックス、またはその他のテキスト入力を入力するために使用されます。

プロパティ:

  • Text to Enter (必須): フィールドに入力するテキスト (「Order #12345」など)

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「注文番号フィールド」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//input[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

  • 既存のテキストを置き換える (チェックボックス): 入力する前にフィールド内の既存のテキストをクリアします (デフォルト: ON)

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります。要素の説明を使用し、必要な場合にのみ要素セレクタに移動することをお勧めします。

認証情報の入力

ユーザー名またはパスワードを入力します。保存された認証情報を使用してウェブサイトに安全にログインするために使用されます。

プロパティ:

  • 認証情報 (ドロップダウン、必須): オートメーショングループから使用する保存された認証情報を選択します

  • 入力する値 (ドロップダウン、必須): ユーザー名とパスワードのどちらを入力するかを選択します (デフォルト: ユーザー名)

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「ユーザー名フィールド」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//input[@id='username']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります

ドロップダウンから選択

ドロップダウンから値を選択します。ウェブページのフォーム、フィルター、またはその他のドロップダウンメニューで選択を行うために使用されます。

プロパティ:

  • 選択値 (必須): ドロップダウンフィールドから選択するオプション (「完了」など)

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「注文ステータスドロップダウン」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//select[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります

テキストの抽出

ウェブページから値を読み取ります。個々のフィールドからテキストをキャプチャするために使用されます。

プロパティ:

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「合計金額フィールド」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//input[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

  • 抽出されたテキスト (出力): 抽出されたテキストを保存する変数名 (デフォルト: extracted_text)

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります

テーブルの抽出

ウェブページテーブルからデータを読み取ります。テーブルで見つかった構造化情報をキャプチャするために使用されます。

自然言語ターゲティングまたは XPath セレクタを使用して、ウェブページから構造化データをインテリジェントに抽出します。機能には、AI 拡張抽出、複数の属性抽出 (テキスト、リンクなど)、属性の自動列生成、プログラムによる操作のためのデータテーブル出力などがあります。

プロパティ:

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「注文詳細テーブル」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//table[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

  • 複数のページを抽出する (ラジオボタン): 追加ページが存在する場合は、そのページからのデータの抽出を続行します (デフォルト: OFF、オプション)

  • 次のページボタンセレクタ (条件付き表示): 次のページボタンの XPath 式 (例: "//*[@id='nextButton']"、オプション)

  • インテリジェントデータ抽出 (チェックボックス): AI を使用して、複雑なテーブルからデータを抽出して構造化します (デフォルト: ON)。100 行以上の大きなテーブルサイズには を使用しないでください。このオプションは、ウェブブラウザからの通常のテーブル抽出が失敗する複雑なテーブルまたはテーブルのような構造に使用する必要があります。

  • 抽出するデータ (複数選択ドロップダウン): 抽出するデータを選択します - テキスト、リンク (Href)、または要素セレクタ (Xpath) (デフォルト: テキスト、オプション)

  • 抽出テーブル (出力): 抽出されたデータテーブルを保存する変数名 (デフォルト: extracted_table)

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります

使用上の注意:

  • 追加のデータ型は別々の列に保存されます (リンクの columnName_Href など)

  • 100 行以上のテーブルのインテリジェント抽出を無効にしてパフォーマンスを向上させる

スクリーンショットの取得

ウェブページのイメージをキャプチャします。スクリーンショットはファイルに保存され、プロセスの後半で使用されます。

プロパティ:

  • ファイル名 (オプション): 保存したイメージファイルの名前。空の場合は自動生成 (「スクリーンショットイメージ」など)

  • ファイルタイプ (ドロップダウン): イメージ形式 - PNG または JPEG (デフォルト: PNG、オプション) を選択します。

  • スクリーンショットファイル (出力): スクリーンショットファイルを保存する変数名 (デフォルト: screenshot_file)

ビジュアル Q&A

ウェブページに関する質問に回答します。AI を使用してページを視覚的に分析し、コンテンツに関する真偽の質問に回答します。

プロパティ:

  • 質問 (必須): ウェブページのコンテンツに関する true/false 質問を入力します (例:「製品は在庫にありますか?」)

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

  • 回答 (出力): true/false レスポンスを保存する変数名 (デフォルト: is_true)

ファイルをクリックしてアップロードする

ウェブページにファイルをアップロードします。ファイルのアップロードボタンをクリックし、アップロードするファイルを選択して、ファイルピッカーを自動化するために使用されます。

プロパティ:

  • アップロードするファイル (必須): アップロードするファイルのリスト。通常は変数に保存されます (例: [my_file1, my_file2])。

  • 説明付き要素の検索 (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「アップロードボタン」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//input[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

  • マウスボタン (ドロップダウン): クリックするマウスボタン - 左、中央、右 (デフォルト: 左、オプション)

  • クリックタイプ (ドロップダウン): シングルクリックまたはダブルクリック (デフォルト: シングル、オプション)

ファイルの要件:

  • メディア/ファイルオブジェクトの配列である必要があります

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります

キーストロークを入力

キーコマンドまたはショートカットを送信します。ウェブページでの個々のキーまたはキーの組み合わせの入力を自動化するために使用されます。

プロパティ:

  • 特殊キー (ドロップダウン、必須): Ctrl、Alt、Shift などの修飾子、または Enter、Tab、Pagedown などの単一のキーストロークを選択する

  • コマンドキー (オプション): Special キーと組み合わせて使用するキーを入力します (Ctrl+c の場合は「c」など)

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「検索バー」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//input[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

要素の識別:

  • 両方の要素の切り替えはオフにできます。要素が定義されていない場合、キーストロークは現在のアクティブなフィールドに送信されます。

要素を待機する

要素が表示されることを確認します。ウェブページの変更を待機したり、条件を検証したりするために使用します。要素が最大待機時間内に見つかった場合は true、そうでない場合は false を返します。

プロパティ:

  • アクションタイトル (テキストのみ): アクションの表示名

  • 要素セレクタ (必須): チェックする要素を定義する XPath 式 (例: "//input[@id='xyz']")

  • 最大待機時間 (オプション): 要素が表示されるまでの秒単位の最大待機時間 (デフォルト: 30)

  • Element Found (出力): 要素が見つかったかどうかを保存する変数名 (True/False) (デフォルト: is_found)

検証:

  • 最大待機時間は整数または 10 進数である必要があります

一致する要素を検索する

パターンに一致する要素を取得します。1 つずつ処理できるウェブページ上の類似要素のリストを取得するために使用します。

プロパティ:

  • 要素セレクタ (必須): 取得する要素のパターンを定義する XPath 式 (例: "//div[@class='abc']")

  • 要素のリスト (出力): 見つかった要素のリストを保存する変数名 (デフォルト: element_list)

使用上の注意:

  • 一致する要素が見つからない場合、リストは空です

  • 検索結果やハイパーリンクなどの複数の類似要素を処理するために を使用する

新しいウィンドウを待機する

新しいウィンドウが開くことを確認します。現在のブラウザセッションで新しい子ウィンドウを開くリンクまたはボタンをクリックした後に使用されます。

プロパティ:

  • 最大待機時間 (オプション): 新しいウィンドウが表示されるまでの秒単位の最大待機時間 (デフォルト: 30)

  • ウィンドウ識別子 (出力): 新しいウィンドウの識別子を保存する変数名 (デフォルト: window_id)

使用上の注意:

  • 時間が超過し、ウィンドウが見つからない場合、例外が発生します。

  • ウィンドウ識別子は、フォーカスの切り替えやウィンドウのクローズに使用できます。

検証:

  • 最大待機時間は整数または 10 進数である必要があります

ウィンドウの切り替え

ブラウザウィンドウを変更します。フォーカスを指定されたウィンドウに切り替えると、後続のブラウザアクションはそのウィンドウとやり取りします。

プロパティ:

  • ウィンドウ識別子 (オプション): 切り替えるウィンドウ。通常は変数 (Window_id など) に保存されます。メインウィンドウに切り替えるには、空のままにします。

ウィンドウを閉じる

ブラウザウィンドウを閉じます。閉じると、オートメーションは現在のブラウザセッションのメインウィンドウに戻ります。

プロパティ:

  • ウィンドウ識別子 (必須): 閉じるウィンドウ。通常は変数に格納されます (例: window_id)。

クリップボードに保存

テキストをクリップボードにコピーします。後で貼り付けることができるテキストを保存するために使用されます。既存のクリップボードテキストが置き換えられます。

プロパティ:

  • 保存テキスト (必須): クリップボードにコピーするテキスト (「Order #12345」など)

クリップボードから貼り付ける

クリップボードからテキストを挿入します。コピーしたテキストをウェブページフィールドに貼り付けるために使用されます。

プロパティ:

  • Find Element with Description (ラジオボタン): 自然言語の説明を使用して AI で要素を識別します (デフォルト: ON)

    • 説明フィールド (条件付きで必須): 自然言語の説明 (「注文番号フィールド」など)

  • セレクタで要素を検索する (ラジオボタン): XPath 式を使用して要素を識別します (デフォルト: OFF)

    • XPath フィールド (条件付きで必須): XPath 式 (例: "//input[@id='xyz']")

  • 自己修復 (チェックボックス): AI を使用して予期しないポップアップを自動的に処理する (デフォルト: OFF、オプション)

  • 既存のテキストを置き換える (チェックボックス): 貼り付ける前にフィールド内の既存のテキストをクリアします (デフォルト: ON)

要素の識別:

  • 少なくとも 1 つの要素識別方法を有効にする必要があります

ウェブページの更新

現在のウェブページを再ロードします。一部のページは、更新時にリダイレクトされる場合があります。

プロパティ:

  • アクションタイトル (テキストのみ): アクションの表示名

ブラウザを再起動する

ブラウザを閉じて再度開きます。新しいセッションは空白のページから開始されます。

プロパティ:

  • Restart All (チェックボックス): 現在のウィンドウだけでなく、すべてのブラウザウィンドウを閉じて再起動します (デフォルト: OFF、オプション)

制限事項

要素識別の不確実性: AI が UI 要素を確実に識別できない場合、アクションはLowConfidence」エラーで失敗します。このような場合は、より具体的な XPath セレクタまたは要素の説明を使用します。ブラウザの互換性: システムは Chrome ブラウザインスタンスでのみ動作し、基盤となるオートメーションフレームワークとして Playwright を使用します。つまり、互換性は Chrome がサポートするウェブテクノロジーに限定され、他のベンダーのブラウザ固有の機能では動作しない可能性があります。動的コンテンツの課題: レイアウト変更が頻繁な非常に動的なページ、重い JavaScript フレームワーク、または複雑な単一ページのアプリケーションでは、追加の待機時間、再試行ロジック、または特殊な処理アプローチが必要になる場合があります。パフォーマンスオーバーヘッド: 自然言語要素のターゲティングや自己修復機能などの AI を活用した機能では、XPath の直接ターゲティングよりも処理時間が長くなります。