Anthropic oznámila novou funkci Prompt Caching pro Claude, která zvyšuje výkon pro opakované úlohy s velkým množstvím podrobných kontextových informací. Tato funkce zrychluje odpovědi Claude až o 50% a zvyšuje úspory až o 90%. Je dostupná v veřejném beta prostřednictvím API Anthropic pro Claude 3.5 Sonnet a Claude 3 Haiku.
Prompt Caching je užitečná zejména pro komplexní projekty, které vyžadují stejná data. Je vhodná pro podniky všech velikostí, nejen pro podnikové organizace. Funkce je dostupná prostřednictvím API Anthropic a zlepšuje výkon v následujících oblastech:
– **Konverzační agenti**: Zmenšuje náklady a latenci pro prodloužené konverzace, zejména těch s dlouhými instrukcemi nebo nahranými dokumenty.
– **Velké dokumentové zpracování**: Zahrnuje kompletní dlouhé materiály do vašeho promptu bez zvýšení latence odpovědi.
– **Podrobné instrukční sady**: Podílí se na rozsáhlých seznamech instrukcí, postupů a příkladů pro fine-tuning odpovědí Claude.
– **Asistenti kódu**: Zlepšuje autocomplete a Q&A kóduzáku tím, že udržuje souhrn kódu v promptu.
– **Agenciální použití nástrojů**: Zlepšuje výkon pro scénáře s více nástrojovými voláními a iterativními změnami kódu, kde každý krok obvykle vyžaduje nové API volání.
📊📊📊
