Kimi 发布Context Caching（上下文缓存）功能

发布时间：2024-06-20

什么是 Context Caching？

Context Caching（上下文缓存）是由 Kimi 开放平台提供的一项高级功能，它通过缓存重复的 Tokens 内容，有效降低用户在请求相同内容时的成本。

Context Caching 的价值：降本、提速

在业务的合适场景中使用 Context Caching，根据您的业务特性，最高可以节省 90% 的调用成本。

同时，Context Caching 还能大幅提升 API 的接口响应速度（或者说首字返回速度）。简单来说，越是规模化、重复度高的 prompt 场景，Context Caching 功能带来的收益就越大。

Context Caching 的典型应用场景

Context Caching 特别适合于用频繁请求，重复引用大量初始上下文的情况，通过重用已缓存的内容，可以显著提高效率并降低费用。因为这个功能具有强烈的业务属性，我们下面简单列举一些合适的业务场景：

标签： #Kimi #kimiAI

猜你喜欢