尝试AI受挫

181字数 1062

某单位跟风上了deepseek,但接入应用后员工发现根本无法使用,还不如官方网页版好用,更别提按行业特性的定制。于是L就尝试自己搭建本地模型,此时我们恰好相遇,聊起此事。L想自己买一台5080显卡,总价在2万左右的台式机跑32B量化模型。但我觉得还是现在本地试下模型能不能跑通,然后再考虑是否要买台式机。

对于本地部署AI模型我也不熟悉,于是再次请教博友老麦,老麦给我推荐了客户端CherryStudio 。得到这个思路后,就学习CherryStudio官方教程,数据的向量化,大模型的选择等。

其实L的需求也很简单,就是本地建立一个知识库,每次向量化50-100篇30页以内的pdf文件,然后用大模型推理,查询并整理投喂的文章内容。原来设想很容易,用CherryStudio+API,硅基流动Pro/BAAI/bge-m3模型向量化,然后用deepseek-ai/DeepSeek-V3推理。之所以用deepseek-ai/DeepSeek-V3,而不是deepseek-ai/DeepSeek-R1,就是担心R1输出内容长度不够。

但实际试验后,给知识库输入50篇pdf,推理时只能查询到4-6篇文章内容,远少于已知的32篇。以为是Pro/BAAI/bge-m3向量化有问题,于是更换阿里的通义text-embedding-v3模型向量化,qwen-turbo和qwen-max模型进行推理,结果依然只有4-6篇。然后进行混搭,比如用Pro/BAAI/bge-m3+qwen-turbo,问题如故。

再学习教程,说需要调高知识库请求文档分段数量(调整到20),调低分段大小(调整到400),将推理模型的模型温度调整到0.3,上下文数量调整到10,问题依然没有得到解决。

更换其他公司的模型尝试,结果和上述差不多,甚至还不如。

昨天突然看到腾讯的ima,下载并上传知识库后,用deepseek进行推理,及用腾讯的混元模型进行推理,结果都和以前的尝试差不多(甚至不如,因为基本上不可调整任何参数)。至此,所有的尝试都没有达到预期的效果,所以单独购买台式主机的想法也放弃了,因为搭建了本地模型也是这个结果。

 

AI近年突然火遍全球,平时用来替代搜索引擎确实不错,但想作为生产力可能还需要专人,甚至是团队来构建和优化,因为绝大多数人想要的可能就是按需定制。

此前,我一直困扰于Ai会让读书失去价值。因为按我预想,一生最多只能读2000册书(不算口水文的小说),AI向量化可能只需要3天左右,而此后就可以对书中内容信手拈来。人一辈子读这么多书,还存在边读边忘的问题,这样人和AI的阅读结果就会有很大的差距。但通过上面的尝试后,我发现在我粗浅的应用下,本地构建的AI很难向量化2000册书籍,并遍历知识库检索和整理书中内容,更别提用整个知识库进行推理了。而同样的问题,如果人读完了2000册书,就某个问题作答,可能也就思考几分钟而已,甚至可以秒回答。

人脑在记忆上完全不如电脑,但在推理上目前还是AI所不能比拟的。由此,我们也不用太为AI的到来而焦虑,它们还取代不了我们的大脑,就我们记录的日常吃喝拉撒文来说,AI就很难模拟,因为众多的个体导致我们每个人的生活都很多元,都是唯一,而AI有太强的共性。

 

没有尝试过大型机构搭建的知识库型AI,比如大学,科研机构的专业模型,是否可以向量化整个已出版的相关书籍,及在线期刊,然后做全量检索推理?如果真可以,那这就是我想象中AI该有的样子。

本站文章授权后方可转载,请勿侵权! 如喜欢可点击分享按钮分享。

 
    • 2broear
      2broear 3

      靠硬件堆起来的,可以这么说么hh

        • 水拍石
          水拍石

          @ 2broear 现在单位和家庭一样,都喜欢跟风,邻居有汽车所以我们也要买,按揭买了车一年只开2000公里。

        • 紫慕
          紫慕 5

          我一直用chatgpt,现在它似乎已经建立了属于我的知识库,直接新的对话,它的回答都是基于我以前的提问内容。自己知识库建立还是输入到脑子里,或者记录下来比较好。

            • 水拍石
              水拍石

              @ 紫慕 你这个是基于以前的提问,AI对回答做了延续,和知识库的使用还是有点差异。我理解的知识库就是你能给他一个文件库,比如输入你从小学到现在的所有日记,然后让它分析你的成长经历。

            • 老麦
              老麦 7

              我本地搭的32B与官方满血的比差距有点大,所以自己部署我觉得没啥优势。你自建知识库也是本地部署的模型?自建了多大参数的模型?

                • 水拍石
                  水拍石

                  @ 老麦 知识库也是API方式,没有自建,我看教程向量化模型比较小,7B足以,这个和推理模型不一样。我这两天还在琢磨,发现本地向量化后直接检索数据库,数据是全的;但用大模型推理就只能检索到一部分,所以应该是推理模型的问题,或者是设置的问题。
                  如果日常问答的话,还是在线满血的比较好用,自建确实没有必要。

                • S
                  S 6

                  希望ai永远是辅助人类的作用,不要进化到取代人类的那天,怕阿基莫夫三定律都失效了

                    • 水拍石
                      水拍石

                      @ S 希望Ai永远服务于人类,而不是和人类竞争,那样人类可能真没有优势可言。

                    • 粽叶加米
                      粽叶加米 5

                      官方的网页版和APP多好,还有各路大厂都有。大可不必执着于自己搭建。

                        • 水拍石
                          水拍石

                          @ 粽叶加米 官方的只能问答,没有办法建自己的知识库,分析PDF每次只能5篇,对于需要同时分析100篇这种应用就抓瞎了。

                        • acevs
                          acevs 5

                          估计ai agent 类似manus 后续会持续优化
                          ai速度估计超越摩尔定律 再等等看看。

                            • 水拍石
                              水拍石

                              @ acevs AI未来可期,具有无限可能。硬件的进步应该会很快,现在主要依赖于GPU,未来会不会有新的专门应用于AI的硬件?我觉得完全有可能。同时量子计算机等计算机新形态也可能出现,到时就是不是遵循摩尔定律的问题,而是质的改变。

                                • ACEVS
                                  ACEVS 5

                                  @ 水拍石 这个评论的网址,我把朋友的地址快捷填上去了。您帮忙删除或者改成我的网址吧,谢谢。

                                    • 水拍石
                                      水拍石

                                      @ ACEVS 已改

                                • 沉沦
                                  沉沦 4

                                  定制化 AI 目前还真是没怎么见报道。

                                    • 水拍石
                                      水拍石

                                      @ 沉沦 大企业和某些大单位自己部署的AI,好像都进行了模型调优,训练等,我也不熟悉。

                                    • 满心
                                      满心 0

                                      我现在持续用着好几个比较热门的AI工具,前段时间也是自己搭建了DeepSeek,感觉还是不如大厂现成的,毕竟自身硬件实力在那摆着,目前用的百度的DP满血,还挺好的

                                        • 水拍石
                                          水拍石

                                          @ 满心 我也用百度,阿里源的DP,但自建知识库后推理结果就很难达到预期,日常问答是没有问题。

                                      匿名

                                      发表评论

                                      匿名网友