huixiangdou.service.worker中single_judge函数报错

[fredsamhaak]

detail | 详细描述 | 詳細な説明

您好，我在跑python3 -m huixiangdou.main --standalone时，碰到如下报错：

说明：

1. 本地服务器部署
2. 模型：bce-embedding-base_v1, bce-reranker-base_v1 以及 internlm2-chat-7b均下载自hf-mirror.com
3. 在开发机上根据教程跑程序，没有问题
4. 除了第一个问题报错外，针对第二个问题：“茴香豆怎么部署到微信群”，输出结果为“ErrorCode.UNRELATED”，不知道问题可能出在哪里。（开发机上不存在这个问题）

希望能收到回复，万分感谢！

祝好！

[tpoisonooo]

第一个问题

pipeline 里的 LLM，对 “huixiangdou 是什么” 的 scoring 没有指令跟随，建议换模型。 locate LLM 里实测 qwen-14B 效果很好 （飞一般的感觉！）

第二个问题： 茴香豆怎么部署到微信群

打开 config.ini，阈值调低，如 0.3

[tpoisonooo]

BTW， internlm1 和 internlm2 不一样。

如果下载的是 internlm1 ，那肯定不能用。

[fredsamhaak]

@tpoisonooo 谢谢大佬～

1. 对于第一个问题我有个疑问，在开发机上同样碰到scoring没有指令跟随的问题，但还是生成了结果（而本地却生成不了，不知道可能的原因是什么）：

感谢大佬的建议，用Qwen/Qwen1.5-14B-Chat做了测试，不过只有一张4090，确实OOM了。准备测试更小的模型，不知道您有什么建议？感谢～

2. 第二个问题，降低阈值后（0.3），worked！

另，本地下载的是internlm/internlm2-chat-7b

[tpoisonooo]

“开发机没这问题“ ： 不知，可能是 torch 版本 / GPU 数值差异。

4090 试试 qwen 7B fp16 或者 qwen 14B int8 吧。

[fredsamhaak]

好的，谢谢大佬～
不知道在实际商用（比如某个垂域使用）时，大佬根据您过往的经验，qwen 7B fp16 或者 qwen 14B int8 是不是也ok够用了？再次感谢～

[tpoisonooo]

好的，谢谢大佬～ 不知道在实际商用（比如某个垂域使用）时，大佬根据您过往的经验，qwen 7B fp16 或者 qwen 14B int8 是不是也ok够用了？再次感谢～

一分钱一分货啊老板。 丰俭由人， qwen 14B fp16 吧。

[fredsamhaak]

嗯嗯好的，看来还是要上到14B fp16啊～感谢！