環(huán)境

multi query group nu : 2
nu attention heads : 32
num layers : 28
original rope : true
pad token idpadded vocab_size : 65024
post layer norm : true
pre_seg len : nul1
prefix projection : false
quantization bit : 0
rmsnorm : true
seq length": 32768
tie word embeddings : false
torch dtype :"float16“4.41.2”transformers version use_ cachetrue
vocab_size：65024

用戶用github上工程訓(xùn)練推理模型服務(wù)，代碼編譯運(yùn)行異常?，需要幫忙跑通代碼，并安裝合適版本；

為用戶整理好合適素材，完美解決問題；

最終耗時(shí)30分鐘調(diào)試完成，首頁有更多案例歡迎訪問，有需求歡迎私信哦！~