全球每天有数百万人使用AI聊天机器人，这些机器人由基于NVIDIA GPU的云服务器提供支持。如今，这些创新性的工具搭载NVIDIA RTX，为本地Windows PC用户带来快速、定制化的生成式AI体验。「Chat With RTX」是一款可免费下载的技术演示软件，允许用户根据自己的内容个性化定制聊天机器人。通过搭载至少8GB显存的英伟达GeForce RTX 30系列或更高版本的GPU，该机器人的性能得到加速。
下载地址：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai
网盘下载：https://www.123pan.com/s/I1oZVv-wjUGA.html 提取码:EWo1
随问随答
Chat With RTX通过运用检索增强生成（RAG）、NVIDIA TensorRT-LLM软件和NVIDIA RTX加速技术，为搭载GeForce显卡的本地Windows PC提供生成式AI功能。用户可以轻松地将本地文件与开源大语言模型（如Mistral或Llama 2）连接作为数据集，从而进行快速、上下文相关的查询。
用户无需翻阅笔记或保存的内容，只需输入查询即可。例如，用户可以问：“我在拉斯维加斯时，我的伴侣推荐过哪家餐厅？”Chat With RTX将扫描用户指定的本地文件，并提供带上下文的答案。该工具支持多种文件格式，包括.txt、.pdf、.doc/.docx和.xml。用户只需将应用指向包含这些文件的文件夹，该工具便能在几秒钟内将它们加载到其库中。
此外，用户还可以从YouTube视频和播放列表中添加信息。通过将视频URL添加到RTX聊天机器人中，用户可以将这些知识集成到聊天机器人中，进行上下文相关的查询。例如，根据喜爱的网红视频内容询问旅行建议，或根据顶级教育资源获取快速教程和操作方法。
由于Chat With RTX在Windows RTX电脑和工作站上本地运行，因此提供的结果非常快速，并且用户的数据保留在设备上。与依赖基于云的LLM服务相比，RTX聊天机器人允许用户在本地电脑上处理敏感数据，无需与第三方共享或联网。除了搭载至少8GB显存的英伟达GeForce RTX 30系列或更高版本GPU外，Chat With RTX还要求使用Windows 10或11操作系统，以及最新的显卡驱动程序。
基于RTX开发LLM应用
RTX Chat充分展示了RTX GPU在加速LLM方面的潜力。该应用程序基于GitHub上提供的TensorRT-LLM RAG开发者参考项目构建。开发人员可以利用此参考项目来开发和部署自己的基于RAG的RTX应用程序，并通过TensorRT-LLM进行加速。了解更多关于构建基于LLM的应用程序的信息。参加NVIDIA RTX上的NVIDIA生成式AI开发者大赛，在2月23日（星期五）之前提交一个基于生成式AI的Windows应用程序或插件，有机会赢取包括GeForce RTX 4090显卡、NVIDIA GTC全程现场会议通行证等奖品。
0条评论