📈主流AI服务状态页通知 | 🆕汇集全网ChatGPT/AI新闻 #AI #ChatGPT
🆓免费AI聊天 https://free.netfly.top
✨BEST AI中转 https://api.oaibest.com 2.8-4.2折 支持Deepseek、OpenAI(o3/GPTs/Sora/实时语音)、Claude、Gemini、Midjourney、文件上传
🆓免费AI聊天 https://free.netfly.top
✨BEST AI中转 https://api.oaibest.com 2.8-4.2折 支持Deepseek、OpenAI(o3/GPTs/Sora/实时语音)、Claude、Gemini、Midjourney、文件上传
OpenAI 论文:推理模型 o3 在编程竞赛中斩获金牌,性能匹敌人类精英
OpenAI 发布研究论文《Competitive Programming with Large Reasoning Models》,披露其推理模型在竞技编程中的突破性表现。模型 o3 在 IOI 2024 中以 395.64 分的成绩达到金牌标准,并在 CodeForces 竞赛中展现出与人类顶尖选手相当的实力。研究显示,通过强化学习(RL)训练及增加计算资源,模型在复杂编码任务中的性能显著提升。同时,中国团队研发的 DeepSeek-R1 与 Kimi k1.5 采用思维链学习(COT)方法,在数学解题与编程挑战中同样表现优异。论文指出,此类模型将在科学、编码等领域的 AI 应用中开启新可能。
论文原文
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
via 科技圈🎗在花频道📮 - Telegram Channel
OpenAI 发布研究论文《Competitive Programming with Large Reasoning Models》,披露其推理模型在竞技编程中的突破性表现。模型 o3 在 IOI 2024 中以 395.64 分的成绩达到金牌标准,并在 CodeForces 竞赛中展现出与人类顶尖选手相当的实力。研究显示,通过强化学习(RL)训练及增加计算资源,模型在复杂编码任务中的性能显著提升。同时,中国团队研发的 DeepSeek-R1 与 Kimi k1.5 采用思维链学习(COT)方法,在数学解题与编程挑战中同样表现优异。论文指出,此类模型将在科学、编码等领域的 AI 应用中开启新可能。
论文原文
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
via 科技圈🎗在花频道📮 - Telegram Channel
华为小艺助手网页端上线:适配手机 / PC,支持 DeepSeek R1 深度思考
华为小艺助手 App 已于本月官宣接入 DeepSeek,用户将鸿蒙原生版小艺助手升级至 11.2.10.340 版本后,可在智能体广场体验 DeepSeek-R1 智能体(支持联网搜索功能)。
华为小艺智能助手网页端也于近日完成上线,用户可通过链接访问。该版本小艺智能助手支持所有设备访问使用,但需要登录华为账号。目前网页版小艺智能助手已适配手机、PC 布局,提供 AI 问答、AI 写作、编程助手、AI 翻译等功能。另外,其还支持 DeepSeek R1 深度思考。
via 匿名
🗒 标签: #华为 #小艺助手
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
via Yummy 😋 - Telegram Channel
华为小艺助手 App 已于本月官宣接入 DeepSeek,用户将鸿蒙原生版小艺助手升级至 11.2.10.340 版本后,可在智能体广场体验 DeepSeek-R1 智能体(支持联网搜索功能)。
华为小艺智能助手网页端也于近日完成上线,用户可通过链接访问。该版本小艺智能助手支持所有设备访问使用,但需要登录华为账号。目前网页版小艺智能助手已适配手机、PC 布局,提供 AI 问答、AI 写作、编程助手、AI 翻译等功能。另外,其还支持 DeepSeek R1 深度思考。
via 匿名
🗒 标签: #华为 #小艺助手
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
via Yummy 😋 - Telegram Channel
丰田等多家日企内部禁用DeepSeek服务
12日获悉,日本丰田汽车、软银、三菱重工业等禁止在企业内部使用中国创新企业深度求索研发的生成式人工智能。围绕深度求索的服务,由于担心信息泄露给中国政府,越来越多的企业开始禁用。深度求索以低成本成功研发生成式AI,震惊全世界,另一方面被指安全性存疑。丰田表示:“从信息安全角度来看存在担忧,因此禁止使用。”三菱重工的方针也是不使用,据称即使提出内部申请目前也不会予以批准。软银限制从公司内部进行访问,并禁止在业务终端下载和使用。
—— 共同社
via 风向旗参考快讯 - Telegram Channel
12日获悉,日本丰田汽车、软银、三菱重工业等禁止在企业内部使用中国创新企业深度求索研发的生成式人工智能。围绕深度求索的服务,由于担心信息泄露给中国政府,越来越多的企业开始禁用。深度求索以低成本成功研发生成式AI,震惊全世界,另一方面被指安全性存疑。丰田表示:“从信息安全角度来看存在担忧,因此禁止使用。”三菱重工的方针也是不使用,据称即使提出内部申请目前也不会予以批准。软银限制从公司内部进行访问,并禁止在业务终端下载和使用。
—— 共同社
via 风向旗参考快讯 - Telegram Channel
Elevated error rates on Claude 3 Sonnet
Feb 12, 05:37 PST
Investigating - We are currently investigating this issue.
via Anthropic Status - Incident History
Feb 12, 05:37 PST
Investigating - We are currently investigating this issue.
via Anthropic Status - Incident History
AMD锐龙AI处理器轻松本地跑DeepSeek:最高支持70B参数
AMD锐龙AI处理器拥有目前行业最强的NPU,算力高达50 TOPS(每秒50万亿次计算),自然是体验DeepSeek的上佳选择。如果你有一台锐龙AI笔记本,现在就可以通过LM Studio,轻松在本地部署、体验DeepSeek R1精简版推理模型。具体操作方式如下:1、安装AMD Adrenalin 25.1.1或更新版显卡驱动。2、打开lmstudio.ai/ryzenai,并下载LM Studio 0.3.8或更新版本。3、安装启动LM Studio,可以直接跳过引导屏幕。4、点击“发现”(discover)标签页。5、选择适合自己的DeepSeek R1 Distill。具体如何选择见后。6、在软件页面右侧,勾选“Q4 K M”量化模式,然后点击“下载”。7、下载完成后,返回聊天选项页,从下拉菜单中选择DeepSeek R1 distill,并确保勾选“手动选择参数”(manually select parameters)选项。8、在“GPU卸载”(GPU offload)中,将滑块移到最大值。9、点击“模型加载”(model load)。10、好了,可以在本地体验DeepSeek R1推理模型了!不同参数规模的大模型,决定了其性能和体积,因此不同的硬件设备需要选择最适合自己的参数量。如果是顶级的锐龙AI MAX+ 395处理器,搭配64GB、128GB内存,最高可以支持DeepSeek-R1-Distill-Llama-70B,注意64GB内存的话需要将可变显存设置为高。搭配32GB内存,可变显存自定义为24GB,则能支持到DeepSeek-R1-Distill-Qwen-32B。如果是锐龙AI HX 370、AI 365处理器,搭配24GB、32GB内存,可以支持DeepSeek-R1-Distill-Qwen-14B。如果是锐龙7040/8040系列,需要搭配32GB内存,才能支持到DeepSeek-R1-Distill-Qwen-14B。另外,AMD推荐将所有Distill运行在Q4 K M量化模式。如果你使用的是台式机,AMD RX 7000系列显卡也都已支持本地部署DeepSeek R1。其中,RX 7900 XTX旗舰显卡最高支持DeepSeek-R1-Distill-Qwen-32B,RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT均可以支持到DeepSeek-R1-Distill-Qwen-14B,RX 7600以及新发布的RX 7650 GRE则适合到DeepSeek-R1-Distill-Llama-8B。 ...
PC版:https://www.cnbeta.com.tw/articles/soft/1478168.htm
手机版:https://m.cnbeta.com.tw/view/1478168.htm
via cnBeta.COM中文业界资讯站 - Telegram Channel
AMD锐龙AI处理器拥有目前行业最强的NPU,算力高达50 TOPS(每秒50万亿次计算),自然是体验DeepSeek的上佳选择。如果你有一台锐龙AI笔记本,现在就可以通过LM Studio,轻松在本地部署、体验DeepSeek R1精简版推理模型。具体操作方式如下:1、安装AMD Adrenalin 25.1.1或更新版显卡驱动。2、打开lmstudio.ai/ryzenai,并下载LM Studio 0.3.8或更新版本。3、安装启动LM Studio,可以直接跳过引导屏幕。4、点击“发现”(discover)标签页。5、选择适合自己的DeepSeek R1 Distill。具体如何选择见后。6、在软件页面右侧,勾选“Q4 K M”量化模式,然后点击“下载”。7、下载完成后,返回聊天选项页,从下拉菜单中选择DeepSeek R1 distill,并确保勾选“手动选择参数”(manually select parameters)选项。8、在“GPU卸载”(GPU offload)中,将滑块移到最大值。9、点击“模型加载”(model load)。10、好了,可以在本地体验DeepSeek R1推理模型了!不同参数规模的大模型,决定了其性能和体积,因此不同的硬件设备需要选择最适合自己的参数量。如果是顶级的锐龙AI MAX+ 395处理器,搭配64GB、128GB内存,最高可以支持DeepSeek-R1-Distill-Llama-70B,注意64GB内存的话需要将可变显存设置为高。搭配32GB内存,可变显存自定义为24GB,则能支持到DeepSeek-R1-Distill-Qwen-32B。如果是锐龙AI HX 370、AI 365处理器,搭配24GB、32GB内存,可以支持DeepSeek-R1-Distill-Qwen-14B。如果是锐龙7040/8040系列,需要搭配32GB内存,才能支持到DeepSeek-R1-Distill-Qwen-14B。另外,AMD推荐将所有Distill运行在Q4 K M量化模式。如果你使用的是台式机,AMD RX 7000系列显卡也都已支持本地部署DeepSeek R1。其中,RX 7900 XTX旗舰显卡最高支持DeepSeek-R1-Distill-Qwen-32B,RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT均可以支持到DeepSeek-R1-Distill-Qwen-14B,RX 7600以及新发布的RX 7650 GRE则适合到DeepSeek-R1-Distill-Llama-8B。 ...
PC版:https://www.cnbeta.com.tw/articles/soft/1478168.htm
手机版:https://m.cnbeta.com.tw/view/1478168.htm
via cnBeta.COM中文业界资讯站 - Telegram Channel
Model 🖼: flux pro
📢 频道 ✈️ 群聊 📬 投稿 💵 商务
via AI绘画|AI视频 | AI音乐 - Telegram Channel
ChatGPT可能并不像曾经认为的那么耗电
非营利人工智能研究机构 Epoch AI 最新研究表明,ChatGPT 聊天机器人的能耗水平可能远远低于此前人们的普遍认知。一个常被引用的统计数据是,ChatGPT 需要大约 3 瓦时的电量来回答一个问题,或者是谷歌搜索的十倍。Epoch 认为这个估值过高。通过分析 OpenAI 最新的默认模型 GPT-4o,Epoch AI 发现,ChatGPT 的平均查询能耗约为 0.3 瓦时,低于许多家用电器的能耗水平。Epoch 数据分析师表示,之所以开展这项分析,是因为此前的研究存在过时的问题。例如得出 3 瓦时估计值报告的作者假设 OpenAI 使用较老、效率较低的芯片来运行其模型。
—— Techcrunch、研究报告
via 风向旗参考快讯 - Telegram Channel
非营利人工智能研究机构 Epoch AI 最新研究表明,ChatGPT 聊天机器人的能耗水平可能远远低于此前人们的普遍认知。一个常被引用的统计数据是,ChatGPT 需要大约 3 瓦时的电量来回答一个问题,或者是谷歌搜索的十倍。Epoch 认为这个估值过高。通过分析 OpenAI 最新的默认模型 GPT-4o,Epoch AI 发现,ChatGPT 的平均查询能耗约为 0.3 瓦时,低于许多家用电器的能耗水平。Epoch 数据分析师表示,之所以开展这项分析,是因为此前的研究存在过时的问题。例如得出 3 瓦时估计值报告的作者假设 OpenAI 使用较老、效率较低的芯片来运行其模型。
—— Techcrunch、研究报告
via 风向旗参考快讯 - Telegram Channel
Elevated Subscription Loading Errors
Feb 12, 02:36 PST
Update - We are continuing to investigate this issue.
Feb 12, 02:35 PST
Investigating - We're experiencing an elevated level of ChatGPT subscription loading errors and are currently looking into the issue.
via OpenAI Status - Incident History
Feb 12, 02:36 PST
Update - We are continuing to investigate this issue.
Feb 12, 02:35 PST
Investigating - We're experiencing an elevated level of ChatGPT subscription loading errors and are currently looking into the issue.
via OpenAI Status - Incident History
卖DeepSeek安装包一月赚十万?我们免费教你本地部署DeepSeek-R1
图源:微博 @扬子晚报打开淘宝和拼多多,搜索 DeepSeek,我们能看到电子货架上摆满了琳琅满目的本可免费获得的资源,其中既有安装包,也有提示词包与教程,甚至就连清华大学刚刚发布的《DeepSeek 从入门到精通》也被许多卖家明码标价出售 —— 但实际上你只需要随便找个搜索引擎搜索一下,你就能找到大量可免费下载该教程的链接。价钱如何呢?根据我们的粗略观察,一般打包出售“安装包 + 教程 + 提示词”的价格通常在 10-30 元之间,商家一般还会提供一定的客服服务。其中不少都已经卖出了上百份,更有少数几个已经达成了上千人付款的成就。离谱的是,一个定价 100 元的软件和教程包也有 22 人付款。真是不得不让人感叹,信息差的钱是真好赚。转自网络今天这篇文章我们将教你如何在本地部署 DeepSeek,并且完全不用花一分钱。但首先,我们先简单了解下为什么要本地部署。为什么要本地部署 DeepSeek-R1?DeepSeek-R1,虽然可能已不是当前最强大的推理模型,但绝对依然还是当前最热门的推理模型。也因此,如果使用官网或其它托管商的服务,我们常常会遭遇如下窘境:而本地部署模型可以有效杜绝这种情况。简单来说,本地部署就是在你自己的本地设备上安装 AI 模型,而不依赖云端 API 或在线服务。常见的本地部署方式有如下几种:轻量级本地推理:在个人电脑或移动端运行(如 Llama.cpp、Whisper、GGUF 格式模型)。服务器 / 工作站部署:使用高性能 GPU 或 TPU(如英伟达 RTX 4090、A100)运行大模型。私有云 / 内网服务器:在企业内部服务器上部署(如使用 TensorRT、ONNX Runtime、vLLM)。边缘设备:在嵌入式设备或 IoT 设备上运行 AI(如 Jetson Nano、树莓派)。而本地部署也存在自己的应用场景,比如:企业内部 AI(如私有聊天机器人、文档分析);科研计算(如生物医药、物理仿真);离线 AI 功能(如语音识别、OCR、图像处理);安全审计 & 监控(如法律、金融合规分析)。本文将主要关注轻量级本地推理,这也是适用于我们大多数个人用户的部署方式。本地部署的好处除了从根本上解决“服务器繁忙”问题,本地部署还有其它诸多好处,包括:数据隐私与安全性:在本地部署 AI 模型时,就无需将自己的关键数据上传到云端,从而可以有效防止数据泄露,这对金融、医疗、法律等行业而言尤为关键。另外,本地部署也能有效符合企业或地区的数据合规要求(如中国的《数据安全法》、欧盟的 GDPR 等)。低延迟 & 高实时性能:由于本地部署时所有计算都发生在本地,无需网络请求,因此推理速度完全取决于用户自己的设备计算性能。但也因此,只要本地设备性能足够,用户就能享受到非常好的实时性能,也因此本地部署非常适合实时性非常关键的应用(如语音识别、自动驾驶、工业检测)。更低的长期成本:本地部署自然就无需 API 订阅费用,可实现一次部署长期使用。同时,如果用户对模型性能要求不高,还能通过部署轻量化模型(如 INT 8 或 4-bit 量化)来控制硬件成本。可以离线使用:无需网络也能用上 AI 模型,适用于边缘计算、离线办公、远程环境等。并且,由于断网也能运行 AI 应用,因此可以保证用户的关键业务不中断。可定制 & 可控性强:可以微调、优化模型,更适配业务需求,举个例子,DeepSeek-R1 就被微调和蒸馏成了许多不同的版本,包括无限制版本 deepseek-r1-abliterated 等等。另外,本地部署不受第三方政策变更影响,可控性强,可避免 API 调价或访问限制。本地部署的缺点本地部署好处多多,但我们也不能忽视其缺点,首当其冲的便是大模型的算力需求。硬件成本高:个人用户的本地设备通常难以运行高参数量的模型,而参数量较低的模型的性能通常又更差,因此这方面有一个需要考虑的权衡。如果用户想要运行高性能模型,那就必须在硬件上投入更多成本。难以处理大规模任务:当用户的任务需要大规模处理数据时,往往需要服务器规模的硬件才能有效完成。有一定的部署门槛:不同于使用云服务 —— 只需打开网页端或配置 API 即可使用,本地部署存在一定的技术门槛。如果用户还有进一步的本地微调需求,部署难度还会更大。不过幸运的是,这个门槛正越来越低。需要一定的维护成本:用户需要投入心力和时间解决因为模型和工具升级带来的环境配置问题。究竟是进行本地部署还是使用在线模型,还需要用户根据自己的实际情况定夺。下面简单总结了适合与不适合本地部署的场景:适合本地部署:高隐私、低延迟、长期使用(如企业 AI 助手、法律分析)。不适合本地部署:短期试验、高算力需求、依赖大模型(如 70B+ 参数级别)。如何本地部署 DeepSeek-R1?本地部署 DeepSeek-R1 的方法其实有很多,这里我们简单介绍两种:一是基于 Ollama 实现本地部署,二是使用 LM Studio 的零代码部署方法。基于 Ollama 部署 DeepSeek-R1下面我们将基于 Ollama 介绍如何在你自己的设备上部署你自己的 DeepSeek-R1。Ollama 是目前最常使用的本地部署和运行语言模型的框架,其非常轻量,而且具有很好的可扩展性。从名字也能看出来,Ollama 是 Meta 发布 Llama 系列模型之后诞生的。但这个项目是社区驱动的,与 Meta 以及 Llama 系列模型的开发没有直接关系。Ollama 项目诞生之后发展非常迅速,不管是支持的模型量还是支持其的各种生态系统都在迅速发展。Ollama 支持的部分模型和生态使用 Ollama 的第一步非常简单,下载并安装 Ollama,访问以下地址,下载适合你操作系统的版本即可。下载地址:https://ollama.com/download有了 Ollama,还需要为你的设备配置 AI 模型。这里以 DeepSeek-R1 为例进行演示。首先进入 Ollama 官网查看支持的模型及相应的版本:https://ollama.com/search 这里我们可以看到 DeepSeek-R1 现有 1.5B 到 671B 共 7 个不同规模的共 29 个不同版本,其中包括一些基于开源模型 Llama 和 Qwen 进行微调、蒸馏或量化处理后得到的模型。具体该选择哪个版本,我们先得了解自己的硬件配置情况。dev.to 开发者社区 Avnish 写了一篇文章,简单总结了 DeepSeek-R1 不同规模版本的硬件需求,可作参考:图源:https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8这里我们以 8B 版本为例进行演示:打开你设备上的终端工具,运行ollama run deepseek-r1:8b接下来就是等待模型下载完成。(Ollama 现在也支持直接从 Hugging Face 拉取模型,命令是 ollama run hf.co/{用户名}/{库}:{量化版本},比如 ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0。)模型下载完成后,你就可以直接在这个终端中与下载好的 8B 版 DeepSeek-R1 聊天了。但是,对普通用户来说,这种对话方式非常不直观,也不方便。因此我们还需要配置一个好用的前端。而前端的选择可就多了。我们即可以使用能在浏览器中提供类似 ChatGPT 体验的 Open WebUI,也可以选择 Chatbox 等前端工具,你也可以在这里寻找你想要的前端:https://github.com/ollama/ollama1. 如果你想使用 Open WebUI,只需在你的终端以此运行以下两行代码即可:安装 Open WebUI:pip install open-webui运行 Open WebUI:open-webui serve接下来,只需访问 http://localhost:8080,就能在你的浏览器中获得类似 ChatGPT 的体验。从 Open WebUI 的模型列表中可以看到,本机上的 Ollama 已经配置了多个模型,包括 DeepSeek-R1 7B 和 8B 版本以及 Llama 3.1 8B、Llama 3.2 3B、Phi 4、Qwen 2.5 Coder 等其它一些模型。选择其中的 DeepSeek-R1 8B 试试看效果...
PC版:https://www.cnbeta.com.tw/articles/soft/1478144.htm
手机版:https://m.cnbeta.com.tw/view/1478144.htm
via cnBeta.COM中文业界资讯站 - Telegram Channel
图源:微博 @扬子晚报打开淘宝和拼多多,搜索 DeepSeek,我们能看到电子货架上摆满了琳琅满目的本可免费获得的资源,其中既有安装包,也有提示词包与教程,甚至就连清华大学刚刚发布的《DeepSeek 从入门到精通》也被许多卖家明码标价出售 —— 但实际上你只需要随便找个搜索引擎搜索一下,你就能找到大量可免费下载该教程的链接。价钱如何呢?根据我们的粗略观察,一般打包出售“安装包 + 教程 + 提示词”的价格通常在 10-30 元之间,商家一般还会提供一定的客服服务。其中不少都已经卖出了上百份,更有少数几个已经达成了上千人付款的成就。离谱的是,一个定价 100 元的软件和教程包也有 22 人付款。真是不得不让人感叹,信息差的钱是真好赚。转自网络今天这篇文章我们将教你如何在本地部署 DeepSeek,并且完全不用花一分钱。但首先,我们先简单了解下为什么要本地部署。为什么要本地部署 DeepSeek-R1?DeepSeek-R1,虽然可能已不是当前最强大的推理模型,但绝对依然还是当前最热门的推理模型。也因此,如果使用官网或其它托管商的服务,我们常常会遭遇如下窘境:而本地部署模型可以有效杜绝这种情况。简单来说,本地部署就是在你自己的本地设备上安装 AI 模型,而不依赖云端 API 或在线服务。常见的本地部署方式有如下几种:轻量级本地推理:在个人电脑或移动端运行(如 Llama.cpp、Whisper、GGUF 格式模型)。服务器 / 工作站部署:使用高性能 GPU 或 TPU(如英伟达 RTX 4090、A100)运行大模型。私有云 / 内网服务器:在企业内部服务器上部署(如使用 TensorRT、ONNX Runtime、vLLM)。边缘设备:在嵌入式设备或 IoT 设备上运行 AI(如 Jetson Nano、树莓派)。而本地部署也存在自己的应用场景,比如:企业内部 AI(如私有聊天机器人、文档分析);科研计算(如生物医药、物理仿真);离线 AI 功能(如语音识别、OCR、图像处理);安全审计 & 监控(如法律、金融合规分析)。本文将主要关注轻量级本地推理,这也是适用于我们大多数个人用户的部署方式。本地部署的好处除了从根本上解决“服务器繁忙”问题,本地部署还有其它诸多好处,包括:数据隐私与安全性:在本地部署 AI 模型时,就无需将自己的关键数据上传到云端,从而可以有效防止数据泄露,这对金融、医疗、法律等行业而言尤为关键。另外,本地部署也能有效符合企业或地区的数据合规要求(如中国的《数据安全法》、欧盟的 GDPR 等)。低延迟 & 高实时性能:由于本地部署时所有计算都发生在本地,无需网络请求,因此推理速度完全取决于用户自己的设备计算性能。但也因此,只要本地设备性能足够,用户就能享受到非常好的实时性能,也因此本地部署非常适合实时性非常关键的应用(如语音识别、自动驾驶、工业检测)。更低的长期成本:本地部署自然就无需 API 订阅费用,可实现一次部署长期使用。同时,如果用户对模型性能要求不高,还能通过部署轻量化模型(如 INT 8 或 4-bit 量化)来控制硬件成本。可以离线使用:无需网络也能用上 AI 模型,适用于边缘计算、离线办公、远程环境等。并且,由于断网也能运行 AI 应用,因此可以保证用户的关键业务不中断。可定制 & 可控性强:可以微调、优化模型,更适配业务需求,举个例子,DeepSeek-R1 就被微调和蒸馏成了许多不同的版本,包括无限制版本 deepseek-r1-abliterated 等等。另外,本地部署不受第三方政策变更影响,可控性强,可避免 API 调价或访问限制。本地部署的缺点本地部署好处多多,但我们也不能忽视其缺点,首当其冲的便是大模型的算力需求。硬件成本高:个人用户的本地设备通常难以运行高参数量的模型,而参数量较低的模型的性能通常又更差,因此这方面有一个需要考虑的权衡。如果用户想要运行高性能模型,那就必须在硬件上投入更多成本。难以处理大规模任务:当用户的任务需要大规模处理数据时,往往需要服务器规模的硬件才能有效完成。有一定的部署门槛:不同于使用云服务 —— 只需打开网页端或配置 API 即可使用,本地部署存在一定的技术门槛。如果用户还有进一步的本地微调需求,部署难度还会更大。不过幸运的是,这个门槛正越来越低。需要一定的维护成本:用户需要投入心力和时间解决因为模型和工具升级带来的环境配置问题。究竟是进行本地部署还是使用在线模型,还需要用户根据自己的实际情况定夺。下面简单总结了适合与不适合本地部署的场景:适合本地部署:高隐私、低延迟、长期使用(如企业 AI 助手、法律分析)。不适合本地部署:短期试验、高算力需求、依赖大模型(如 70B+ 参数级别)。如何本地部署 DeepSeek-R1?本地部署 DeepSeek-R1 的方法其实有很多,这里我们简单介绍两种:一是基于 Ollama 实现本地部署,二是使用 LM Studio 的零代码部署方法。基于 Ollama 部署 DeepSeek-R1下面我们将基于 Ollama 介绍如何在你自己的设备上部署你自己的 DeepSeek-R1。Ollama 是目前最常使用的本地部署和运行语言模型的框架,其非常轻量,而且具有很好的可扩展性。从名字也能看出来,Ollama 是 Meta 发布 Llama 系列模型之后诞生的。但这个项目是社区驱动的,与 Meta 以及 Llama 系列模型的开发没有直接关系。Ollama 项目诞生之后发展非常迅速,不管是支持的模型量还是支持其的各种生态系统都在迅速发展。Ollama 支持的部分模型和生态使用 Ollama 的第一步非常简单,下载并安装 Ollama,访问以下地址,下载适合你操作系统的版本即可。下载地址:https://ollama.com/download有了 Ollama,还需要为你的设备配置 AI 模型。这里以 DeepSeek-R1 为例进行演示。首先进入 Ollama 官网查看支持的模型及相应的版本:https://ollama.com/search 这里我们可以看到 DeepSeek-R1 现有 1.5B 到 671B 共 7 个不同规模的共 29 个不同版本,其中包括一些基于开源模型 Llama 和 Qwen 进行微调、蒸馏或量化处理后得到的模型。具体该选择哪个版本,我们先得了解自己的硬件配置情况。dev.to 开发者社区 Avnish 写了一篇文章,简单总结了 DeepSeek-R1 不同规模版本的硬件需求,可作参考:图源:https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8这里我们以 8B 版本为例进行演示:打开你设备上的终端工具,运行ollama run deepseek-r1:8b接下来就是等待模型下载完成。(Ollama 现在也支持直接从 Hugging Face 拉取模型,命令是 ollama run hf.co/{用户名}/{库}:{量化版本},比如 ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0。)模型下载完成后,你就可以直接在这个终端中与下载好的 8B 版 DeepSeek-R1 聊天了。但是,对普通用户来说,这种对话方式非常不直观,也不方便。因此我们还需要配置一个好用的前端。而前端的选择可就多了。我们即可以使用能在浏览器中提供类似 ChatGPT 体验的 Open WebUI,也可以选择 Chatbox 等前端工具,你也可以在这里寻找你想要的前端:https://github.com/ollama/ollama1. 如果你想使用 Open WebUI,只需在你的终端以此运行以下两行代码即可:安装 Open WebUI:pip install open-webui运行 Open WebUI:open-webui serve接下来,只需访问 http://localhost:8080,就能在你的浏览器中获得类似 ChatGPT 的体验。从 Open WebUI 的模型列表中可以看到,本机上的 Ollama 已经配置了多个模型,包括 DeepSeek-R1 7B 和 8B 版本以及 Llama 3.1 8B、Llama 3.2 3B、Phi 4、Qwen 2.5 Coder 等其它一些模型。选择其中的 DeepSeek-R1 8B 试试看效果...
PC版:https://www.cnbeta.com.tw/articles/soft/1478144.htm
手机版:https://m.cnbeta.com.tw/view/1478144.htm
via cnBeta.COM中文业界资讯站 - Telegram Channel
前谷歌CEO施密特:西方需重视开源AI以应对中国竞争
谷歌前首席执行官埃里克·施密特警告,西方国家需要加强开源人工智能模型的开发,否则可能在全球AI竞争中落后于中国。
中国初创公司DeepSeek上月推出高性能开源大语言模型R1,开发效率超过美国竞争对手。施密特指出,目前美国顶级语言模型多为封闭系统,除Meta的Llama外,包括谷歌Gemini、Anthropic Claude和OpenAI GPT-4都不对外开放。他认为若不重视开源技术,西方大学可能因负担不起封闭模型而影响科研发展。
Financial Times
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
via 科技圈🎗在花频道📮 - Telegram Channel
谷歌前首席执行官埃里克·施密特警告,西方国家需要加强开源人工智能模型的开发,否则可能在全球AI竞争中落后于中国。
中国初创公司DeepSeek上月推出高性能开源大语言模型R1,开发效率超过美国竞争对手。施密特指出,目前美国顶级语言模型多为封闭系统,除Meta的Llama外,包括谷歌Gemini、Anthropic Claude和OpenAI GPT-4都不对外开放。他认为若不重视开源技术,西方大学可能因负担不起封闭模型而影响科研发展。
Financial Times
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
via 科技圈🎗在花频道📮 - Telegram Channel
🇨🇳 中国AI发展迅猛:DeepSeek崭露头角,成本大幅降低
中国AI领域迎来多项进展:海信、马蜂窝、东风日产N7等企业正集成DeepSeek的AI模型,分别用于提升语音对话、旅游服务和人机交互。百度预计今年发布文心大模型5.0。字节跳动UltraMem架构将推理成本降低83%。李彦宏称大模型成本年度降幅超90%。阿里巴巴或与苹果合作,为中国版iPhone开发AI功能,可能采用通义千问。小红书开源语音识别模型FireRedASR在中文识别方面表现出色。DeepSeek创始人梁文峰估值或达1500亿美元。玉树科技筹备开设北京分公司。OpenAI CEO表示愿与中国在AI领域合作。
(财经快讯)
via 茶馆 - Telegram Channel
中国AI领域迎来多项进展:海信、马蜂窝、东风日产N7等企业正集成DeepSeek的AI模型,分别用于提升语音对话、旅游服务和人机交互。百度预计今年发布文心大模型5.0。字节跳动UltraMem架构将推理成本降低83%。李彦宏称大模型成本年度降幅超90%。阿里巴巴或与苹果合作,为中国版iPhone开发AI功能,可能采用通义千问。小红书开源语音识别模型FireRedASR在中文识别方面表现出色。DeepSeek创始人梁文峰估值或达1500亿美元。玉树科技筹备开设北京分公司。OpenAI CEO表示愿与中国在AI领域合作。
(财经快讯)
via 茶馆 - Telegram Channel