Zyphra ZHA: attention thưa phân cấp có độ phức tạp dưới bậc hai cho ngữ cảnh dài
Zyphra giới thiệu Hierarchical Attention (ZHA): xây một cây phân cấp và tìm trên cây để chọn các token liên quan cho mỗi truy vấn, đạt độ phức tạp dưới bậc hai. Mô hình có sẵn được chuyển sang ZHA bằng một pha chưng cất chỉ vài tỷ token. Theo Zyphra, trên RULER-13 ở 256K token bản cây rộng đạt 96,2% (mô hình dày gốc 96,0%); trên LongBench v2 bản cây sâu đạt 63,4% so với 58,0% của attention dày khi chỉ attend ~1,1% KV cache lúc giải mã.
Nguồn: Zyphra
Cần chatbot hoặc agent LLM cho doanh nghiệp?
Mô tả ngắn yêu cầu của bạn; bạn sẽ nhận câu hỏi làm rõ và đề xuất phạm vi trước khi bắt đầu.
Tin liên quan
AI & LLM · 2026-11-04
Tencent ra mắt Hy4: lần đầu có thị giác và điều khiển máy tính, nhắm tới nhóm mô hình mở mạnh nhất
AI & LLM · 2026-11-03
LeanGuard: kiểm tra từng lệnh gọi công cụ của agent LLM bằng chính sách viết trong Lean 4
AI & LLM · 2026-11-03