配置大模型给龙虾用折腾半天，用魔搭下载的千问27b是safetensor格式，特

张允谈科技 2026-03-10 12:49:13

配置大模型给龙虾用折腾半天，用魔搭下载的千问27b是safetensor格式，特别难调用，还总是爆内存（那台有96GB)，加了量化也没解决

最后发现直接用ollama去下载一个千问 7b就解决了，自带4bit量化，我全程只花了十分钟不到就可以调用而且速度贼快，这台还是64GB内存，显卡仅仅是gtx1080。。

0 阅读：1

猜你喜欢

张允谈科技

张允谈科技

感谢大家的关注

作者最新文章

1
我发现微信聊天记录是最需要AI赋能的，很多时候一些资料或者说关键词找不到然后微信
2
折腾openclaw的乐趣在于过程，这玩意目前来说真的没啥软用，别说普通人，像我
3
吉祥航空啥时候这么高级了，不是空中公交么
4
我才知道这个居然是充电后会在摄像头边上显示出一圈绿光
5
炒openclaw热度，像元宇宙借s还魂开5090机器折腾两天，最终效果一言难尽
6
龙虾换用千问3.5 9b后，速度是快了但是几个目前限制因素估计解决不了1.严重的
7
千问9b我搞定本地部署了，但这玩意是真的效率真的低下，我在龙虾里面问一个当前模型
8
人类调教openclaw精彩画面
9
配置大模型给龙虾用折腾半天，用魔搭下载的千问27b是safetensor格式，特
10
油价涨爆了信我都不会亏的，有事情是真说

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 婚姻 正能量

科技TOP

1
雷军返岗了雷总太厉害了整个假期有6天在滑雪，这其中还是有四天下雪的时间，我现在连
2
当下高端手机市场同质化严重，各大品牌陷入参数堆砌的内卷怪圈，追觅AURORA手机
3
苹果iOS26.4Beta4可以关掉液态玻璃刺眼动效其实关于玻璃透明效果，
4
真我暂停新机研发啊？？？假的吧，咋可能，前不久不是刚回归OPPO吗，而且rea
5
真是没有对比就没有伤害iPhone17系列2292万+华为mate80系列3
6
iOS图标19年变化史iOS图标这些年的变化还挺有意思的，设计理念在反复横跳，
7
这个边框控制喜欢吗？
8
都年后了，大疆Pocket4也该来了，看曝光的说明书，外观变化其实不大，还
9
听我一句劝！荣耀的中高端旗舰不能乱选，小心选错悔断肠，这四款中择优选择更明智[灵
10
阿里已批准林俊旸离职现在又流传了一个小作文，我认为这是在泼污水，AI模型开发圈子

科技最新文章

1
荣耀再次掀桌子，大家干脆别玩了荣耀MagicV6依旧是8999元顶配给到了
2
荣耀折叠屏产品经理，现场用吊着荣耀MagicV6的杆，做引体向上，耀子花活太
3
手机电池5000mAh，有人说容量小手机电池6000mAh，有人说不够用手机
4
荣耀600系列这次堆料太狠了，简直是要卷到底[捂脸哭]按现在曝光的信息看，性
5
今晚七点，荣耀MagicV6就要发布了，据说谢霆锋也会到现场！！这机器已经体验
6
追觅AURORA有点东西啊，这手机马上就出来了，还要在高端手机市场搞事情，这波是
7
好家伙！追觅手机还真有可能能成？？？原本还以为追觅近两年各个行业遍地开花
8
苹果iOS26.4Beta4可以关掉液态玻璃刺眼动效其实关于玻璃透明效果，
9
好家伙！荣耀600系列还要疯狂堆料，直接是要掀桌子的节奏[捂脸哭]从目前曝光的信
10
当下高端手机市场同质化严重，各大品牌陷入参数堆砌的内卷怪圈，追觅AURORA手机