KV-Cache

KV-Cache 的缓存存到 RAM 或磁盘，上下文检索根据问题查找最相关的 KV-Cache 缓存。这个虽然当前模型可能用不到，也许 icing 能用到。相似度计算有CLIP-like比较帧与问题（外部）合利用模型自身的注意力权重进行检索（内部）两种。另外还有滑动窗口注意力。