作者: 流云闲鹿

  • GLM-4-9B使用体验

    前排提示:多图预警。

    目前我已经完整部署了GLM4-9B,也就是GLM-4的普通对话版本,可以理解为一个基础的聊天机器人。不过说是基础,也只是相对于完全体而言,实际功能相较于其他开源大模型和上一代的GLM3来说可谓是“遥遥领先”,称得上是10B规模以下的最强大模型。以下就是详细的体验分享了。
        硬件要求方面,相较于前代,GLM-4对于硬件的要求大大提高,官方最低显存要求提升到了16G,在强制使用int4量精度下初始显存占用提升到了近7个G,也就意味着想要在本地部署使用至少显存需要8G。

    屏幕截图 2024-07-25 090436.png

        在加载模型时也会有很大的内存消耗,不过目前来看并不是硬性条件。但是一颗性能强悍的处理器和25G以上的内存无疑会大大提升模型的加载速度。

    屏幕截图 2024-07-25 002547.png

        在GLM-3上尝试过的双开在GLM-4中我也进行了测试,但是遗憾的是由于显卡显存不足,第二个程序无法加载。

    屏幕截图 2024-07-25 002818.png

        GLM-4本体的体量相对于前代的35G也有了一轮暴涨,提升到了整整50G,使得我本就紧张的储存空间更加的不堪重负。

    屏幕截图 2024-07-25 100210.png

        综上,想要愉快的玩耍GLM-4,显存需要至少8G,最好22G以上,空余内存最好有20G以上,硬盘空间50G以上。

        接下来是使用体验,GLM-4本次开源的主要功能包括了常规聊天,文档解读,图像识别。在这三个功能中我尝试了常规聊天和多模态图像识别,总体体验极佳。而文档解读功能由于未知问题仍然无法使用,但我会对此进行简短介绍。
        首先是常规的聊天,本次测试我选用了传说中用于训练效果最好的,也是集中文社区语言艺术大成的百度贴吧弱智吧中的部分问题进行测试。
    第一张图为GLM-4回答,第二张图为GLM-3回答。
    第一个问题:回忆算不算在记忆的长河里刻舟求剑?

    屏幕截图 2024-07-23 132156.png
    JulCE-202407251140353726.png

    第二个问题:解释一下“一个半小时就是三个半小时”的意思。

    JulCE-202407251142386812.png
    JulCE-202407251143436942.png

    第三个问题:解释一下“太空有空间站,太挤没有空间站”的意思。

    JulCE-202407251144571892.png
    JulCE-202407251146435183.png

    第四个问题:房东把房租给我,为什么不把房租给我?

    JulCE-202407251148322302.png
    JulCE-202407251149193834.png

    第五个问题:高考满分才750,怎么才能考985?

    JulCE-202407251153139746.png
    JulCE-202407251153273223.png

        可以看出GLM-4对于GLM-3还是有不小提升,在对文字逻辑的处理方面更加敏锐。并且,GLM-4还支持联网搜索功能,但是具体操作略有繁琐,并且还需要进行付费,暂且按下不表。

        GLM-4初始模型具备长文本解读能力,很好的一点就是支持的文件格式非常的多样化,从常规的txt,docx,到PDF,GLM-4都可以对其进行解读,极大的便利了有大量长文本阅读需求的用户。

    JulCE-202407281513507640.png

        目前我的问题仍然不能确定,正在Github上进行探讨研究。

    JulCE-202407281528161104.png

        GLM-4系列开源了ChatGLM-4v-9B视觉模型,这也是GLM系列首个机器视觉模型,登场即为王炸。得益于ChatGLM4强大的中文理解能力,ChatGLM-4v-9B在用出色图文识别的基础上可以理解复杂指令,通过更为高效的训练方式使其在参数量较低的情况下发挥出更好的表现。
        由于我的硬件限制,这个多模态功能并没有那么实用,主要问题是显卡的性能过于孱弱,在第一次尝试的时候就出现了报错。

    屏幕截图 2024-07-22 173841.png

    在询问了B站大佬并翻找万能评论区得到了解决方案,需要更改模型文件中的一个响应时间值。官方给出的值仅为5,但是由于部署的硬件条件参差不齐,有一些显卡性能较差的用户(比如我)无法达到那么快的响应速度导致报错。

    屏幕截图 2024-07-25 122542.png

    在经过几次尝试后我将响应时间值改为了300(红线部分),终于是可以正常使用了,不过反馈时间就很长,提问后往往要数分钟才能得到回答,但是胜在结果的高质量,用起来倒也挺舒服。
        目前我只开发了基本的图像识别功能,不能说极为出色,但也是主流水平。

    屏幕截图 2024-07-25 100719.png

        在B站的GLM官方给出了另一个打开方式,网页截图翻译HTML代码,我截了一张网页的首页进行尝试,结果看起来还不错。

    屏幕截图 2024-07-25 122343.png

        好啦,基本可分享的就这么多,感兴趣的可以前往B站搜索up主十字鱼的视频下载。

    引用: GLM4官方Github文档 https://github.com/THUDM/GLM-4/tree/main 出处:Github

    鉴于up主只上传123云盘(非VIP下载要掏钱)并且没有把GLM4的文件单独列出,我把自己已经调整好的文件夹打包了一下上传了百度网盘,主要调整的有自适应代码量化方式和上文提到的模型响应时间值。如需下载请保证硬盘至少有50G空间。

    引用: 百度网盘链接: https://pan.baidu.com/s/1xbHnPCe0OmrfnVOgQOddgA 提取码: lyxl

    插入一个不算题外话的题外话,得益于GLM4得到提升的中文识别记忆能力,许多人从四年前就开始追求的赛博猫娘已经可以真正意义上的国产化,本地化了(大喜)。对此感兴趣的大伙也可以通过评论区或邮箱一起交流。

    发表回复

    您的邮箱地址不会被公开。 必填项已用 * 标注

  • CPU超频不完全指南(笔记本特供)


    在完成了GPU超频的帖子之后我一直在断断续续的进行CPU超频的测试,但是由于移动端的特殊性以及大大小小的杂事,进展一直很慢。借着这次发帖奖励,我就总结一下自己探索的经验。前排提醒:由于每个CPU的体质不同,我的参数不一定适合每个人。同时,本文仅做记录,并非教程,动手实践如果发生任何意外与我无关。

        正文开始

        平台:戴尔游匣G16

        CPU:13900HX

        由于设备限制,本帖子仅限于英特尔处理器的尝试。硬件超频的第一步就是选择合适的软件,在本次超频测试中,我选择的是英特尔官方超频软件Extreme Tuning Utility(以下简称XTU)

    官网下载链接:https://www.intel.cn/content/www/cn/zh/download/17881/intel-extreme-tuning-utility-intel-xtu.html

    想要对CPU进行超频,首先要确定其是否支持,按照英特尔的后缀规则,所有后缀带有K或X的CPU都可以进行超频,对应到移动端就是HX系列处理器,同时,在XTU的下载页面也可以查找自己的CPU是否支持。

    在确定的CPU支持后,和桌面端超频一样,还需要确认主板芯片组是否支持超频。主板芯片组型号可以通过AIDA64查到。

    将查到的芯片组型号直接输入浏览器就可以通过浏览器查到位于英特尔官网上的信息。

    在官网中确认了对超频的支持后,我们就可以正式开始超频操作了。


    下载并安装好XTU软件,在超频开始之前要先对笔记本进行一些检查,查看是否接入电源,电源是否正常工作,以及散热系统是否状态良好。因为CPU对于电脑来说是不可或缺的,超频显卡哪怕调过了也可以靠核显开机,但是CPU坏了就完蛋了。并且,CPU在超频之后的功耗和发热都会大大增加,因此,保证供电和散热是极为重要的。
        完成准备后打开XTU,官网下载的软件界面是纯英文的,如果想要中文界面可以在网上寻找补丁或者其他下载站的中文版,但是往往不是最新版,也会有一些安全隐患,建议还是从官网下载渠道获取。
        启动XTU之后是一个简化版的界面,这个界面上的功能相当有限,但是足以满足初学者。

    如果想要更进一步的追求极限,可以点击左下角进入高级模式。

    在高级模式中,可以调整的就多了,你可以选择使用软件自动优化进行调整。只需点击就可以完成超频优化。

     但是既然都选择高级模式了,谁不想来当一把微操大师呢。点击左侧的Advanced Tuning(第三个)就可以开始对CPU的电流电压进行调整了。

    在这个页面下可以对CPU的各项工作参数进行调整,在下方还有详细的状态栏可以监控各项数据以防出现意外,各项功能可以说是相当齐全。

     我的调整方案是将电压提升到1.35V,电流提升到250.75A,最大功耗为230W,然后把大核的主频向上加一,就大致完成了我的超频配置。

    在调整好参数之后点击左下方Apply(黄色按键)就可以应用配置。在此提醒,各位如果真的上手的话建议一项一项调整,这样万一黑屏重启可以确定问题点。

    超频配置好之后就是喜闻乐见的测试环节。在XTU中可以很方便的对CPU性能进行一个综合性的跑分测试。

    在左侧菜单栏中单击Benchmarking(倒数第三个)就是。在超频前测试得分为9293。
        超频后得分提升到了10041,还是有一些提高的。

    至于说提高不大是因为在经历了上一次的更新系统导致的重置使我丢失了主盘里的所有数据之后留下的后怕(一朝被蛇咬十年怕井绳是这样的)。

    曾经最高提到一万二的少年不复返了(悲)。

    以上就是一个粗糙的英特尔笔记本CPU超频指南,因为手上只有这一台可超频的电脑所以操作的十分谨慎,想要尝试的最好在非主力机上试试,并且记得保存资料!!我这台笔记本CPU超频的瓶颈在于散热,这也是所有高性能笔记本避不开的问题,在笔记本上玩超频纯属无奈的整活之举,以后有条件的还是上台式比较好。别看帖子里说的简简单单,我自己已经记不清重启多少次了,电压电流调整时最好一点一点调,除非有十足把握。再次重申:本帖子仅做分享,并不是教程,自己尝试后果自负。