Phind公司近日推出了基于Meta Llama 3.1 405B的新旗舰模型Phind-405B，旨在为编程和技术问题提供快速搜索解决方案。Phind-405B在HumanEval评测中达到了92%的得分，与Claude 3.5 Sonnet表现相当。
- 地址：https://www.phind.com
Phind-405B的主要特点：
- 技术领先：基于Meta Llama 3.1 405B，专为编程和技术任务设计。
- 处理能力：能够处理高达128K Tokens的上下文，初始提供32K Tokens的窗口。
- 用户开放：现已对所有Phind Pro用户开放。
在现实世界的应用中，Phind-405B尤其在设计和实现Web应用程序方面表现出色。例如，它能够为Paul Graham的Founder Mode创建登陆页面，通过多次搜索研究并提供多种设计方案。
技术细节：
Phind-405B的训练使用了DeepSpeed和MS-AMP库，在256个H100 GPU上以FP8混合精度进行。与BF16精度训练相比，FP8混合精度训练在不降低性能的同时，内存使用量减少了40%。
Phind Instant模型：
为了解决AI驱动搜索相比传统搜索引擎的延迟问题，Phind推出了Phind Instant模型。该模型在与Phind-405B相似的数据集上训练，能够以每秒350 Tokens的速度运行，基于Meta Llama 3.1 8B，并在定制的NVIDIA TensorRT-LLM推理服务器上提供极速体验。
搜索体验优化：
Phind通过模型运行时的改进，实现了在用户输入完成前开始获取网络结果，每次搜索可节省高达800毫秒的延迟。此外，Phind还升级了用于确定检索文本中最相关部分的嵌入模型，新模型比之前的大15倍，同时通过16路并行计算减少了延迟。
Phind的目标：
Phind致力于帮助开发者快速实验和实现新想法。公司正在开发新的应用级功能，由今天宣布的模型提供支持。同时，Phind也成为解决技术查询的优秀答案引擎，满足用户的好奇心和探索需求。
0条评论