【大模型】通义千问safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge解决方法
通义千问介绍
GitHub:https://github.***/QwenLM/Qwen
Requirements
python 3.8及以上版本
pytorch 1.12及以上版本,推荐2.0及以上版本
建议使用CUDA 11.4及以上(GPU用户、flash-attention用户等需考虑此选项)
模型下载
git clone https://www.modelscope.***/qwen/Qwen-7B-Chat.git
模型推理
infer_qwen