6b的参数量还是太少了,参数少性能就上不去。huggingface的排行榜里,chatglm2-6b的排名还是差点意思
XXXXXXXXXXXXXXXXXXXXXX/spaces/HuggingFaceH4/open_llm_leaderboard
最前面的模型平均得分在60多,chatglm2-6b是48.2。
大尺寸模型砍精度之后,消费级显卡的内存也能够用。比如有人用4bit量化的mpt30b,只需要大约20GB内存,层主有兴趣的话可以试试
XXXXXXXXXXXXXXXXXXXXXX/TheBloke/mpt-30B-instruct-GGML
另外在类似尺寸的开源模型里,也有不少能超过chatglm2-6b的,也可以试试
时段 | 个数 |
---|---|
{{f.startingTime}}点 - {{f.endTime}}点 | {{f.fileCount}} |