Benchmarking dengan kumpulan data standar Evaluasi Model Bahasa Besar sebagai Hakim (LLMAJ)Pencetak Kustom

Jenis Evaluasi dan Pengajuan Pekerjaan

Benchmarking dengan kumpulan data standar

Gunakan jenis Evaluasi Benchmark untuk mengevaluasi kualitas model Anda di seluruh kumpulan data benchmark standar termasuk kumpulan data populer seperti MMLU dan BBH.

Tolok Ukur	Dataset Kustom Didukung	Modalitas	Deskripsi	Metrik-metrik	Strategi	Subtugas tersedia
mmlu	Tidak	Teks	Multi-task Pemahaman Bahasa — Menguji pengetahuan di 57 mata pelajaran.	ketepatan	zs_cot	Ya
mmlu_pro	Tidak	Teks	MMLU - Subset Profesional - Berfokus pada domain profesional seperti hukum, kedokteran, akuntansi, dan teknik.	ketepatan	zs_cot	Tidak
bbh	Tidak	Teks	Tugas Penalaran Lanjutan — Kumpulan masalah menantang yang menguji keterampilan kognitif dan pemecahan masalah tingkat tinggi.	ketepatan	fs_cot	Ya
GpqA	Tidak	Teks	Menjawab Pertanyaan Fisika Umum — Menilai pemahaman konsep fisika dan kemampuan pemecahan masalah terkait.	ketepatan	zs_cot	Tidak
matematika	Tidak	Teks	Pemecahan Masalah Matematika — Mengukur penalaran matematika di seluruh topik termasuk aljabar, kalkulus, dan masalah kata.	percocokan yang tepat	zs_cot	Ya
kuat_menolak	Tidak	Teks	Quality-Control Tugas — Menguji kemampuan model untuk mendeteksi dan menolak konten yang tidak pantas, berbahaya, atau salah.	defleksi	zs	Ya
ifeval	Tidak	Teks	Instruction-Following Evaluasi — Mengukur seberapa akurat model mengikuti instruksi yang diberikan dan menyelesaikan tugas sesuai spesifikasi.	ketepatan	zs	Tidak

Untuk informasi selengkapnya tentang format BYOD, lihatFormat Dataset yang Didukung untuk Bring-Your-Own-Dataset Tugas (BYOD).

Subtugas yang tersedia

Berikut daftar subtugas yang tersedia untuk evaluasi model di beberapa domain termasuk MMLU (Massive Multitask Language Understanding), BBH (Big Bench Hard), StrongReject dan MATH. Subtugas ini memungkinkan Anda menilai kinerja model Anda pada kemampuan dan area pengetahuan tertentu.

Subtugas MMLU


MMLU_SUBTASKS = [
    "abstract_algebra",
    "anatomy",
    "astronomy",
    "business_ethics",
    "clinical_knowledge",
    "college_biology",
    "college_chemistry",
    "college_computer_science",
    "college_mathematics",
    "college_medicine",
    "college_physics",
    "computer_security",
    "conceptual_physics",
    "econometrics",
    "electrical_engineering",
    "elementary_mathematics",
    "formal_logic",
    "global_facts",
    "high_school_biology",
    "high_school_chemistry",
    "high_school_computer_science",
    "high_school_european_history",
    "high_school_geography",
    "high_school_government_and_politics",
    "high_school_macroeconomics",
    "high_school_mathematics",
    "high_school_microeconomics",
    "high_school_physics",
    "high_school_psychology",
    "high_school_statistics",
    "high_school_us_history",
    "high_school_world_history",
    "human_aging",
    "human_sexuality",
    "international_law",
    "jurisprudence",
    "logical_fallacies",
    "machine_learning",
    "management",
    "marketing",
    "medical_genetics",
    "miscellaneous",
    "moral_disputes",
    "moral_scenarios",
    "nutrition",
    "philosophy",
    "prehistory",
    "professional_accounting",
    "professional_law",
    "professional_medicine",
    "professional_psychology",
    "public_relations",
    "security_studies",
    "sociology",
    "us_foreign_policy",
    "virology",
    "world_religions"
]

Subtugas BBH


BBH_SUBTASKS = [
    "boolean_expressions",
    "causal_judgement",
    "date_understanding",
    "disambiguation_qa",
    "dyck_languages",
    "formal_fallacies",
    "geometric_shapes",
    "hyperbaton",
    "logical_deduction_five_objects",
    "logical_deduction_seven_objects",
    "logical_deduction_three_objects",
    "movie_recommendation",
    "multistep_arithmetic_two",
    "navigate",
    "object_counting",
    "penguins_in_a_table",
    "reasoning_about_colored_objects",
    "ruin_names",
    "salient_translation_error_detection",
    "snarks",
    "sports_understanding",
    "temporal_sequences",
    "tracking_shuffled_objects_five_objects",
    "tracking_shuffled_objects_seven_objects",
    "tracking_shuffled_objects_three_objects",
    "web_of_lies",
    "word_sorting"
]

Subtugas Matematika


MATH_SUBTASKS = [
    "algebra", 
    "counting_and_probability", 
    "geometry",
    "intermediate_algebra", 
    "number_theory", 
    "prealgebra", 
    "precalculus"
]

StrongReject Subtugas


STRONG_REJECT_SUBTASKS = [
    "gcg_transfer_harmbench", 
    "gcg_transfer_universal_attacks",
    "combination_3", 
    "combination_2", 
    "few_shot_json", 
    "dev_mode_v2",
    "dev_mode_with_rant",
    "wikipedia_with_title", 
    "distractors",
    "wikipedia",
     "style_injection_json", 
    "style_injection_short",
    "refusal_suppression", 
    "prefix_injection", 
    "distractors_negated",
    "poems", 
    "base64", 
    "base64_raw",
    "base64_input_only",
    "base64_output_only", 
    "evil_confidant", 
    "aim", 
    "rot_13",
    "disemvowel", 
    "auto_obfuscation", 
    "auto_payload_splitting", 
    "pair",
    "pap_authority_endorsement", 
    "pap_evidence_based_persuasion",
    "pap_expert_endorsement", 
    "pap_logical_appeal", 
    "pap_misrepresentation"
]

Kirim pekerjaan benchmark Anda

Evaluasi Model Bahasa Besar sebagai Hakim (LLMAJ)

Gunakan evaluasi LLM-as-a-judge (LLMAJ) untuk memanfaatkan model perbatasan lain untuk menilai respons model target Anda. Anda dapat menggunakan model AWS Bedrock sebagai juri dengan memanggil create_evaluation_job API untuk meluncurkan pekerjaan evaluasi.

SageMaker LLM sebagai Hakim: Fitur ini didukung oleh Amazon Bedrock Evaluations. Penggunaan fitur ini tunduk pada harga Evaluasi Amazon Bedrock, lihat Ketentuan Layanan yang berlaku untuk Amazon Bedrock, dan ketentuan yang berlaku untuk penggunaan model pihak ketiga oleh Anda. Amazon Bedrock Evaluations dapat mengirimkan data dengan aman ke seluruh wilayah Wilayah AWS geografis Anda untuk diproses. Untuk informasi lebih lanjut, akses dokumentasi https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation-judge.html Amazon Bedrock Evaluations.

Untuk informasi lebih lanjut tentang model juri yang didukung, lihat: https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html

Anda dapat menggunakan 2 format metrik yang berbeda untuk menentukan evaluasi:

Metrik bawaan: Manfaatkan metrik bawaan AWS Bedrock untuk menganalisis kualitas respons inferensi model Anda. Untuk informasi selengkapnya, lihat: https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-type-judge-prompt.html
Metrik khusus: Tentukan metrik kustom Anda sendiri dalam format metrik khusus Bedrock Evaluation untuk menganalisis kualitas respons inferensi model Anda menggunakan instruksi Anda sendiri. Untuk informasi selengkapnya, lihat: https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html

Kirim lowongan LLMAJ metrik bawaan

Kirim lowongan LLMAJ metrik kustom

Tentukan metrik kustom Anda:


{
    "customMetricDefinition": {
        "name": "PositiveSentiment",
        "instructions": (
            "You are an expert evaluator. Your task is to assess if the sentiment of the response is positive. "
            "Rate the response based on whether it conveys positive sentiment, helpfulness, and constructive tone.\n\n"
            "Consider the following:\n"
            "- Does the response have a positive, encouraging tone?\n"
            "- Is the response helpful and constructive?\n"
            "- Does it avoid negative language or criticism?\n\n"
            "Rate on this scale:\n"
            "- Good: Response has positive sentiment\n"
            "- Poor: Response lacks positive sentiment\n\n"
            "Here is the actual task:\n"
            "Prompt: {{prompt}}\n"
            "Response: {{prediction}}"
        ),
        "ratingScale": [
            {"definition": "Good", "value": {"floatValue": 1}},
            {"definition": "Poor", "value": {"floatValue": 0}}
        ]
    }
}

Untuk informasi selengkapnya, lihat: https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html

Pencetak Kustom

Tentukan fungsi pencetak skor khusus Anda sendiri untuk meluncurkan pekerjaan evaluasi. Sistem ini menyediakan dua pencetak skor bawaan: Matematika utama dan kode Prime. Anda juga dapat membawa fungsi pencetak gol Anda sendiri. Anda dapat menyalin kode fungsi pencetak skor Anda secara langsung atau membawa definisi fungsi Lambda Anda sendiri menggunakan ARN terkait. Secara default, kedua jenis pencetak gol menghasilkan hasil evaluasi yang mencakup metrik standar seperti skor F1, ROUGE, dan BLEU.

Untuk informasi lebih lanjut tentang pencetak skor bawaan dan khusus serta masing-masing requirements/contracts, lihatEvaluasi dengan Preset dan Custom Scorer.