返回 讨论 apply CMS 文章

如果你已付费使用LLM服务，本地运行嵌入和重排序模型比运行本地LLM更有用

本地嵌入和重排序模型在资源有限时比本地LLM更实用。

REDDIT LOCALLLAMA
本地嵌入重排序LLM显存优化
成长分 / 100 57 综合收获、行动、留存与影响

如果你已付费使用LLM服务，本地运行嵌入和重排序模型比运行本地LLM更有用
为什么值得读了解在已有付费LLM服务时，如何通过本地嵌入和重排序模型提升效率。

获取在有限显存（如8GB+16GB）下部署嵌入和排序模型的实践经验。

关键洞察
  1. 本地嵌入和重排序模型对显存需求较低，适合与付费LLM服务配合使用。
  2. 用户使用8GB显卡专门处理嵌入和排序，16GB显卡用于本地编码。
  3. 该方案在家庭实验室中是一个有趣的实验，可用于索引和检索增强。
转成行动

深入阅读

正文与原文对照

原文保真覆盖：全文原文字符：542

讨论精选

Cold_Tree190 (0↑): 嗯……我非常喜欢这个想法。你让我想到了一个我之前没考虑过的事情，谢谢。

whakahere (0↑): 这就是我在自己机器上搭建的东西。我的显存不算大，只有一块8GB的4060和一块16GB的5060 Ti。我把8GB的卡用于嵌入和排序。目前我还在索引所有内容。 我希望我的8GB卡作为内存GPU，16GB卡作为本地编码器。

无论如何，这在我的家庭实验室里是个有趣的实验。

Dry_Yam_4597 (0↑): 你在多少块特斯拉上运行它？