解码器深度学习公司推出了这是一种新的基于人工智能的生成基础模型可以用各种编程语言生成代码。据该公司称该模型拥有亿个参数和一个包含个的大型上下文窗口这使得它能够生成高质量和多样化的代码片段。首席执行官兼联合创始人告诉模型推理成本是代码生成等生成式应用的一个主要问题。高成本主要是由于这些模型的大小计算要求以及底层大型语言模型的内存强度。因此快速生成需要昂贵的高端硬件。
抵消这些过高成本并将推理支出
减少倍的解决方案是开发更高效的模型告诉。这些模型应该能够在更便宜的硬件上快速推理而不牺牲准确性。这正是所做的并且它在这方面脱颖而出。该公司表示当在较便宜的硬件上运行时的推理速度超过了在价格较高的上运行的亿 白俄罗斯手机号码列表 参数范围内最受欢迎的模型。此外上的比上的快倍比上的快倍。声称还具有出色的准确性。该模型在所训练的所有三种编程语言和上的准确性均优于。
解码器通过令人印象深刻的
解码器解码器他表示与的工具一起使用时生成模型可显着降低推理成本与在推理端点上的性能相比每个代币的成本降低了。允许企业将其代码生成工作负载迁移到更便宜的硬件而不牺牲速度或准确性或者在更少的时间内生成更多代码从而 银行邮件 降低推理过程中的计算成本盖夫曼分享道。此外据报道与上的的推理加速库相结合有助于最大限度地减少碳足迹。该公司声称与相同硬件上的相比每个模型实例的年碳排放量减少了千克二氧化碳。
