字: 大 中 小
关灯 护眼
八零读书 > 首富从看见信息面板开始 > 第四百一十四章 算力调度

第四百一十四章 算力调度

    苏念念出门没多久,韩路一又把发来的资料仔细看了一遍,随后给刘彧拨了个内线电话。

    “帮我问一下,江松然现在在不在。”

    几分钟后,刘彧回了过来:“韩总,江松然总在办公室,要我让他过来吗?”

    “不用,我们过去找他。”

    韩路一说完便起身出门。

    他眼下关心的是算力的实时情况,并没有让江松然提前准备;去江松然那边调数据更方便,真把人叫过来汇报反而耽误时间。

    到了江松然办公室门口,江松然已经等在那里。

    “韩总。”

    “走,进去聊。”韩路一说完率先推门进去,也没落座,直接问,“你从京城回来后一直忙算力的事,现在进展如何?”

    江松然早猜到韩路一会问这个——这既是公司战略,也是他最近的工作重心——所以提前做了点准备。

    他走到电脑前,调出实时监控数据面板:“韩总您看,这是正在运行的推理和训练集群。”

    韩路一简单扫过,随即问出最关心的问题。

    “CJ590和龙腾2000大概能做到多少效率?”

    听到这话,江松然表情有点尴尬。

    韩总看问题真准,一问就问到现在最不好看的数据。

    “从上次跑的基准看,CJ590能到理论算力的80%,龙腾2000只有63%。”江松然说。

    只有这么低吗?

    韩路一思索起来。

    现在看,他最初设想的、用中间层来聚合国产算力联盟的方向没有错,在推理方向也已经踏出坚实的第一步——同意接入这套推理框架的国产厂家已有好几家。但问题在于,这套中间层原生适配的是当初硅明L100的底层硬件;工程团队做抽象化时已尽量做到硬件无感知,可有些底层实现没有就是没有,其他厂商的设计在接入中间层时会产生性能损失。当然,这不能说明中间层路线错了:若让各厂商自己实现,他们连跑通都还没跑通,接入中间层是省时省力的做法,只是必须接受性能损失。鱼和熊掌不可兼得。

    韩路一忽然问:“龙门半导体那边,是你带团队去适配的?”

    “是他们带人过来,在4楼实验室和我们一起做的适配。”

    韩路一挑了挑眉。他和龙门半导体的张总只谈了用优先购买权换适配合作,其余都由团队自行对接;他倒没想到,适配工作是在起源大厦里完成的。

    摊子大了,果然不可能面面俱到。

    “适配效率再往上提,还要多久?”

    江松然摇头:“我们只是紧急完成了初期适配,让这些卡尽快上线派上用场;现在再配合龙门继续提效率,性价比不高,不如让团队去对接其他厂商。”

    道理确实如此,只是这样一来,不同类型计算卡集群之间的算力差距似乎有点大。

    “可以混合调用吗?”韩路一问。

    “这是我们团队正在研究的方向,但中间还有几个技术挑战没克服。”江松然答。

    韩路一拉开椅子坐下来:“展开说说。”

    江松然愣了一下,问:“多展开?”

    韩路一说:“你就假设我是个5岁孩子,尽量把这个问题讲明白。”

    江松然心想,韩总还真会突发奇想。

    怎么突然用起了费曼方法?

    如果你不能把一个专业知识给5岁孩子讲明白,就说明你还没完全弄懂它。

    “我试试吧。”江松然说,“现在3种不同类型的推理卡,就像3种不同容量的卡车;不同的推理任务,则像要搬运的不同大小的货物。有些任务长而复杂,只能在L100上运行;有些比较简单直接,算力消耗也小,放在CJ590甚至龙腾2000上也能跑。”

    “我们现在的问题是:一个任务进来之前,甚至作为长程任务的一部分在运行中,我们都不知道它到底是简单任务还是难任务。”

    韩路一在心里摇头:江松然讲着讲着又绕回去了。

    卡车和货物的比喻,只用了一句。

    江松然还在解释:“因为不知道任务是大是小,调度逻辑就不好写,有时只能硬试。”

    听到这里,韩路一问:“所以你们现在的方向是什么?”

    “我们在考虑,能不能把任务切得再小一些。这样就不用考虑盛不盛得下,用哪张卡都盛得下。”

    韩路一坐在原处看了他一眼。

    “按这个思路,能做的任务复杂程度会受到限制吧?”

    这相当于自废武功:太复杂的任务直接放弃,让L100也只能跑龙腾2000能跑的那类任务。

    江松然说:“确实有这个缺陷,所以我们也还在探索。”

    江松然和韩路一都是系统工程出身,都知道很多时候,一个东西在实验室里实现了,并不意味着现实中也能做出来。

    从实验室到大规模应用,中间隔着的就是工程能力。

    韩路一又想了一会儿,说:“现在的技术挑战都在任务编排上——这个编排规则必须提前写死吗?”

    江松然闻言一惊。

    韩路一接着说:“之前做电力任务时,就是让汤圆做调度中枢的。任务分配的调度,能不能也让汤圆来做?”

    江松然仔细琢磨了一下。

    动态调度确实是他们探索的另一个方向,但直接让汤圆参与可能并不成熟。AI眼下的一个问题就是速度慢、并发量上不去;而随着汤圆模型调用量越来越大,调度判断可能达到每秒几万甚至几十万次。

    “韩总,调度逻辑比较复杂,直接交给模型来做,并发可能上不去。”江松然回答。

    韩路一看着屏幕上的实时数据说:“我不是算力基础设施方面的专家,说错了你可以纠正我。现在的问题是任务复杂程度不好提前判断,对吧?那如果不把调度权交给汤圆,只让它判断任务复杂度呢?”

    对啊!

    江松然之前钻了牛角尖:写死规则的调度层性能好,却不够智能;完全交给汤圆来做,性能又不好。

    但是,如果不是直接让汤圆做调度逻辑呢?

    如果把判断任务难度作为调用链的起点呢?

    江松然思路一开,新想法忽然都涌了出来。

    “韩总,之前我们没考虑过这个方向;但您提了之后,我觉得值得一试。”江松然说,“直接让汤圆做调度确实不太现实,但我们完全可以在第一个任务里,让汤圆对总任务流程的复杂程度做个预测,之后在调用链的每一步都把这个判断带给调用层。”

    韩路一点头:有方向就好。

    “这样一来,任务分级,算力也分级,现有算力的调动效率还能再提高——”江松然说到一半停住。

    “提高多少?”韩路一问。

    江松然苦笑:“这个我手头现在没数据,等测试完再向您汇报。”

    “好,算力的事交给你,有阶段性进展就跟我汇报。”韩路一说。

    说完,他起身走了出去。

    他看了看表,该下班了。

    ……

    海城司衡律师事务所。

    办公区里,已经有律师和实习律师开始收拾东西准备回家。

    最近两个月,大家的日子过得都不错。

    因为主任加班少了,大家也不用守在办公室加班。

    当然,活儿并没变少,只是能把电脑带回家干。

    毕竟客户等着,上庭时间也都是定好的。

    但别小看这个福利——这也叫弹性时间、远程办公。

    至于顾主任为什么最近突然不加班了?所里传言,她恋爱了。

    传言说得有鼻子有眼,也不知从哪儿传出来的,所里有人信,有人不信。

    不信的人理由都差不多——顾主任虽然腿长人美,可每天那么严肃,当她男朋友不得被吓死。

    也有人反驳:“主任平时严肃,那是工作时的样子;人家回家跟男朋友在一起,肯定不是这样啊。”

    说这话的是实习律师小王。她这么笃定,是因为探过师傅的口风。

    沈律被小王问起时那副诡异表情,分明说明顾主任的感情生活有情况。

    她现在只希望顾主任那位神秘男友能把顾主任调教——啊不,调整得再温柔一点儿,以后的日子就好过了。

    而此时,正被小王“美好祝愿”的顾主任,就坐在办公室里。

    沈予微过来交流庭审辩护方案,看了看伏案工作的顾司玥,忽然意识到什么。

    “怎么看起来不太高兴?”沈予微问。

    其实顾司玥看上去并没有不高兴,只是和平常一样。

    但做了几年同事和朋友,沈予微对顾司玥已有独特的观察技巧。

    她效率特别高、特别专注工作时,往往就是心情不好的时候。

    典型的化悲痛为工作效率。

    沈予微看着顾司玥面前堆成小山的文件夹——那至少是自己三天的工作量。

    工作狂恐怖如斯。

    顾司玥刚收尾最后一个文件,听了这话,没有回应。

    沈予微来了兴趣:“怎么了,跟你们家韩总吵架了?”

    顾司玥不满地看了她一眼。

    “没有不高兴,只是有点困扰。”顾司玥说。

    沈予微把文件夹放到一边,摆出知心大姐姐的姿态坐下来。

    工作可以一会儿再做,八卦必须现在听。

    “有什么困扰,说说呗?”沈予微说,“我可是情感专家。”

    专门帮人离婚的情感专家。

    顾司玥沉默片刻,说:“路一最近在看房。”

    沈予微闻言,眼睛微微睁大。

    职业病发作,她第一时间想到的是这里头的法律纠纷。

    “婚前买房可是婚前财产。全款还是按揭?按揭的话,共同还贷部分及其增值部分可以参与分割。”沈予微说。

    以前打的都是离婚后扯皮的案子,突然有机会规划婚前资产,还挺刺激。

    顾司玥皱眉,这根本不是她担心的问题。

    沈予微见猜错方向,又问:“好吧,他看的是哪儿的房子?黄埔?井安?”

    顾司玥起身走到窗前,向外望去。

    沈予微不明白她什么意思,也跟过去,站在她身边往外看。

    窗户朝着黄浦江方向,但楼层不高,只能从大楼缝隙里看见一点江景。

    沈予微顺着顾司玥的目光看去,忽然意识到什么。

    她咽了口口水。

    “你是说,你家韩总看的是那儿的房子?”沈予微伸出一根手指。

    顾司玥点头,眉头也皱起来。

    “顾律师,我错了。我之前还说你送的东西太贵重,是我说早了。”

    几身高级男装、几块表,那才多少钱啊。

    和房子比起来,确实小巫见大巫。

    “所以,你苦恼的是怎么让他给你加名字?”沈予微用手撑住下巴,“确实不太好开口,但你放心,现在这很常见;只要没有明确书面协议,法院最后一般不会认定成“以结婚为目的的赠与”,不用退的。”

    这是资深离婚律师的一点小技巧。

    现金彩礼因为有习俗背书,即使没有书面约定,法律一般也会认为属于“以结婚为目的的赠与”;如果最后婚姻不成,可以部分甚至全部退还。

    但房子不一样:除非有非常正式明确的附带协议,否则默认是自愿赠与。

    所以她对男性客户的建议一向是:宁愿支付现金彩礼,也不要在婚前购买的房产上加未婚妻的名字;否则从产权登记那一刻起,就算无条件赠与,基本很难反悔追回。

    当然,现在角色换成顾司玥,沈予微的建议自然就反过来了。

    毕竟屁股决定脑袋,她和顾司玥是闺蜜,和韩路一又不是。

    顾司玥看了沈予微一眼,叹了口气。

    她此时已不再是刚才那种不明显的不高兴,整个人浑身上下都透出一股伤感。

    好像平时雷厉风行的铁娘子,忽然变成了伤春悲秋的小姑娘。

    沈予微还是第一次见顾司玥这样。以前再难的案子、再大的工作压力,她好像都不会被打倒。

    沈予微不知是不是自己的玩笑起了反作用,赶紧闭嘴。

    这时,顾司玥缓缓开口:

    “可是我——不想结婚啊。”
『加入书签,方便阅读』