侧边栏壁纸
博主头像
蔚然小站博主等级

未来会有的,不要辜负了梦想

  • 累计撰写 38 篇文章
  • 累计创建 15 个标签
  • 累计收到 29 条评论

目 录CONTENT

文章目录

群晖vGPU/GPU AI监控体验计划

皮蛋熊
2023-11-04 / 1 评论 / 21 点赞 / 5646 阅读 / 7222 字
温馨提示:
本文最后更新于 2024-10-09,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

前言

告诉大家一个好消息,支持AI监控的驱动准备正式release了,这花费了皮蛋熊大量的个人时间。皮蛋熊是热爱GPU的,一直在学习这GPU方面的知识,规划职业生涯去攀登这座高峰。但自从公司被制裁之后,焦虑一直萦绕在心头,担心哪天上班时就被通知今天我不用再去上班了。

20231106,噩耗传来,公司开始执行三板斧了(降薪,调岗,裁员),还不知道等待皮蛋熊的是什么。

现在工资卡已解绑上交,每月家里只分配900块生活费,家人不同意我从家庭仓库中支出用于折腾。我只能从生活费里挤出折腾的的钱,两个月挤出的零花钱加上热心人的红包买一个300的tesla P4和300的内存已经很吃力了,最近群也要满员而不得不开会员升级群,这又是一笔折腾的开销。

皮蛋熊精力有限,也没钱购置那么多更新的设备,但群里总会出现少数需求的人,这部分人的需求又真实存在,但是又不是大部分人的需求,也不是皮蛋熊自己的需求,皮蛋熊投入大量时间只服务少部分人的需求,面对不曾见面的人不收任何费用是对自己劳动的不尊重。皮蛋熊花费了大量的时间和精力研究,目前已经解决了所有遇到的难题,处理了已经知晓的需求。但却面临着技术之外的问题,怎么解决折腾开销。以劳动换取报酬不可耻,毕竟人都是要生活的,我没想用这个谋生,只想用这个覆盖一部分我折腾的开销,不至于让我买一个tesla p4都是思来想去,畏首畏尾。和家人商量后同意我全权掌管网友请吃烧鸭的收入,皮蛋熊会将网友支持的收益用于购置特定亲民的nvidia、intel、amd的显卡、平台、新奇垃圾佬硬件平台做进一步学习和研究,并给出更多完善的折腾方案。

这里皮蛋熊启用了一个体验群,驱动也分为两个版本:大众版,体验版。

  • 大众版:以稳定为主,会修复问题,支持最新的emby,plex,jellyfin不会支持最新,更新的底板驱动会迟于至少一个季度于体验版发布,不会发布AI监控版本。
  • 体验版:以支持新特性为主,仅体验版会提供AI监控支持,体验群首批会给出525的底板,更新的驱动版本适配会优先适配体验版,底板会根据具体情况决定推迟时间,发布到大众版中。

哪些需求适合进入体验群?

  1. 当前拥有超过30系列显卡需求(也即是当前这个驱动不满足你的使用需求)。
  2. 愿意实际行动支持皮蛋熊继续折腾。
  3. 需要驱动支持群晖AI监控。
  4. 想提前体验更新的底板,更多设备支持,cuda12.0+等。

哪些需求不适合进入体验群?

  1. 正常只需要使用emby、plex、jellyfin(10.8)用于硬件编解码。
  2. 当前驱动能够满足你所有使用需求。
  3. 不需要使用群晖AI监控。
  4. 没有新NV显卡硬件在群晖上使用。

进入体验群有什么要求?

  1. 通用版的510.108.03可正常安装并工作在你的机器上。
  2. 尊重皮蛋熊的劳动成果,确保驱动仅自己使用,并保证不向外分享。
  3. 不屏蔽vGPU技术交流群,有空有心情就进去水几句。
  4. 支持皮蛋熊的工作,请皮蛋熊吃烤鸭,皮蛋熊会邀请你到体验群。

如何进入体验群?

  1. 体验群是邀请制,无法外部搜索和申请,仅由皮蛋熊邀请进入,AI驱动也仅在体验群中分享。
  2. 确保同意并达到进入体验群的要求后,可私聊皮蛋熊进行邀请。

进入体验群后有什么收益?

  1. 获得pascal架构和turing架构可用监控AI分析的驱动套件。
  2. 优先获得525.105.17驱动支持,cuda12.0,最新版jellyfin等。
  3. 后续535以及更新的驱动时机到了也会支持。

解释一下为何这里不直接上535535版本驱动当前新增支持的设备或多或少都有一些问题,已于一个半月前已经释放debug版本和卡布达一起在观察调试,不过结论是在群晖上支持这么好的设备有点暴殄天物,同时功耗控制不是很理想,所以驱动和硬件并非最新的就是最好的,用群晖的人都知道,折腾也是有限度的,稳定的才是最好的,你要头铁想硬上,请我吃一个烤鸭我就帮你弄。

额外支持计划:由于不同的人有着不同的需求,皮蛋熊可接单做事,用皮蛋熊的知识积累和时间,解决你的需求,根据问题的难易程度收费30元到xxx元不等。 涉及:

  1. vGPU方案的推荐、部署和调试。
  2. 家庭服务器的方案推荐、部署和调试。
  3. 定制化驱动&软件服务。
  4. 群晖部署vGPU中遇到的疑难杂症。

同样,群里有很多大佬,如果你遇到的问题,他们以专业知识给予了完美的解答,请不要吝惜你的感谢,必要时可以请他们喝杯咖啡以示尊重他们的专业和帮助

感谢你能看到这里,如果你同意皮蛋熊的计划,接下来请看正片

正片

什么是AI监控?如下图所示,是群晖特定型号内置的使用深度学习技术实现的AI视频分析的功能: 包括人车检测: ai_des.png 车牌识别 ai_des1.png 入侵检测 ai_des2.png 人车计数 ai_des3.png 拥堵警报 ai_des4.png 人脸识别 ai_des5.png 人脸遮蔽检测 ai_des6.png 等完善的监控视频的实时分析.

详细资料可查询群晖官网:适用于各种规模部署的 AI 支持监控

目前体验版提供525.105.17版本的AI驱动以感谢支持的老铁。 因为驱动底板有更新,所以这里需要再次说明一下:

  1. 如果使用N卡直通虚拟机,物理机直接安装N卡的形式,不需要折腾fastapi-dls进行授权,直接按照教程安装本驱动即可。
  2. 如果使用vGPU分配给虚拟机,就需要折腾fastapi-dls进行授权。同时请注意你的ESXi/PVE上安装的Host驱动需要大于这个你安装的皮蛋熊提供的驱动,最好的兼容性仍然是Host和群晖虚拟机安装的驱动是配套的,比如安装525.105.17版本的群晖驱动推荐安装525.105.17的Host驱动525.105.17配套host驱动地址

监控版本AI驱动目前面向两个机型推出,一个是DVA3219,另一个是DVA3221,因为这两个机型自带的监控是带有AI功能的,仍然会有一个common驱动用作体验测试:

  • common,推荐不使用AI监控的用户使用这个版本,不会有来自AI监控的显存占用,空余更多显存用以支撑硬解。
  • DVA3219专版,支持PASCAL架构的AI监控,意味着如果你是1050、1060、1070、1070Ti、1080、1080Ti、Titan Xp、Tesla P4、Tesla P40、Tesla P100、Quadro P600Pascal架构的显卡,想要使用AI监控,你只能选择DVA3219这个DSM型号,并安装DVA3219专版,如果你不需要AI监控,请选择上面的common版本即可。
  • DVA3221专版,支持Turing架构的AI监控,意味着如果你是1650、1660、2060、2060s、2070、2080、2080s、2080Ti、40HX、Tesla T4、Quadro T400、RTX 6000Turing架构的显卡,你想要使用AI监控,你只能选择DVA3221这个DSM型号,并安装DVA3221专版,如果你不需要AI监控,请选择上面的common版本即可。

除了这个限制之外这里还有另外说明:

  1. 可用监控路数为0:这里注意DVA3219、DVA3221的序列号需要是一个有效的,不然安装监控(Surveillance Station)后会出现可用路数为0,默认arpl-i18n/rr引导自带的序列号是有效的,如果出现无效请找寻一个有效的序列号。
  2. AI人脸对于显存的占用会比较大,建议这里显存给大一点,路数多的朋友还想要支持硬解docker等,建议这里把整个P4的8G给他都可以。
  3. Plex需要购买其Plex pass之后才可以开启硬解,emby需要购买正版或者使用开心版,jellyfin则无限制。

安装的驱动的流程可以参考这个:Synology 群晖 Nvidia vGPU/GPU 实践指南 安装完成后可以安装Surveillance Station用以启用相关功能,启用后可以看到相关的事件。 jiankong1 jiankong2 请注意,这里是Tesla P4 + ESXiP4-2Q因为有200多MB是为硬件保留的,所以最多只能使用到这么多显存,可以看到2G的显存对于此任务起始已经无法满足了,所以请分配更大的显存(4G/8G)用以启动该任务。如果放开限制正常单路1080P视频分析我这里已经需要2032MB的显存,多路时候能够达到多少暂无数据支撑,因为资源和需求有限,我仅有一个摄像头。 jiankong2 请注意,这里是40HX + PVE,并非RTX 6000

成功案例

稍后将放出更多的成功案例图

感谢

此次体验计划主要针对是小部分需求的人,大部分人不需要参与体验计划,大众版驱动能够满足你的正常使用,如果你觉得皮蛋熊的折腾值得你的肯定,解决了你的需求,皮蛋熊在这里感谢你的慷慨和热诚。

写在最后

非常感谢你能看到这里,皮蛋熊已经尽力把东西做的完善,如果你觉得皮蛋熊的努力值得肯定,皮蛋熊非常感谢你的支持。

如果你想交流心得,欢迎来 新QQ群 或者 TG群 一起吹水~(老Q群因不明原因被封,所以只加Q群有概率迷路)


如果皮蛋熊的努力解决了你的问题,不妨请皮蛋熊喝杯咖啡犒劳一下。

wechat-caffe.png


如果远方的朋友实力雄厚,知道皮蛋熊更喜欢吃烤鸭,想要犒劳皮蛋熊吃烤鸭wechat-kaoyano88.png

or paypal: https://www.paypal.com/paypalme/pdbearme

在此,无比感谢愿意请皮蛋熊吃烤鸭超过88R的朋友,请凭记录直接加皮蛋熊Q好友([email protected]),皮蛋熊将会邀请你到体验/测试群中,你将获得额外的支持包括但不限于:

  1. 皮蛋熊将会尽力抽出时间解决你使用显卡的疑惑,问题等。
  2. 额外获得vGPU/GPU AI监控驱动的技术支持: 详见此网站
  3. 优先支持你提出的特性适配、问题修复等。
  4. 你有什么好玩的设备需要某些内核驱动级别的支持,皮蛋熊也会优先挤出时间进行学习适配。
  5. 不同厂家显卡的探索支持。

21

评论区