Llama 3.2 Reasoning WebGPU：在浏览器中运行LLama-3.2
Transformers.js，由Hugging Face提供的JavaScript库，旨在让先进的机器学习模型在浏览器中直接运行，无需服务器支持。该库与Hugging Face的Python版transformers库功能相同，支持多种预训练模型。
Harbor：一键部署本地LLM开发环境，轻松管理和运行AI服务的容器化工具集
Harbor是一个创新的容器化工具集，专注于简化本地AI开发环境的部署和管理。通过简洁的命令行界面(CLI)和配套应用程序，开发者可以轻松部署和管理包括LLM后端、API接口、前端界面在内的所有AI服务。
GizAI 集成主流商业化生成式AI工具，不限文本、图像、音频、视频生成工具，这一切完全免费！
GizAI是一个集成了AI生成、笔记和云存储功能的一站式平台。用户能通过GizAI生成图像、视频、音频、文本、角色、故事和游戏，并在平台上协作笔记和云存储。GizAI由Giz Inc.运营，并获得Google for Startups Cloud、Microsoft for Startups Founders Hub、AWS Activate和Paddle AI LaunchPad等项目的支持。GizAI提供免费广告支持计划，允许用户生成、协作和分享内容。
AI Dev Gallery：Windows本地AI模型开发工具集，端侧模型集成到Windows应用
AI Dev Gallery是微软推出的一款专为Windows开发者设计的AI开发工具应用程序，帮助开发者将AI功能轻松集成到Windows应用程序中。
Transformers.js：本地Web中运行近700个AI大模型
Transformers.js，由Hugging Face开发，允许用户在浏览器中直接运行先进的机器学习模型，无需服务器支持。该库与Hugging Face的Python版transformers库功能等效。
GLM Edge：智谱发布适用于手机、车机和PC平台的端侧大语言模型和多模态理解模型
GLM-Edge是由清华大学（智谱轻言）推出的一系列端侧大语言模型和多模态理解模型，适用于手机、车机和PC平台。
EXO：利用闲置家用设备运行分布式AI集群，支持多种推理引擎和自动设备发现。
Exo是一个开源项目，旨在利用日常设备运行AI集群，支持多种模型如LLaMA、Mis等，并通过动态模型分区和自动设备发现，将多个设备统一成一个强大的GPU。
LocalAI：开源的本地AI部署方案，支持多种模型架构，WebUI统一管理模型和API
LocalAI是一个开源的本地AI解决方案，提供与OpenAI、Claude等兼容的API接口，支持在消费级硬件上运行，无需GPU，能够进行文本、音频、视频、图像生成和语音克隆等多种任务。
llamafile：使用单个文件分发和运行 LLMs，简化LLM部署，跨平台支持LLMs
llamafile由Mozilla Builders项目推出，旨在简化大语言模型（LLM）的部署和运行。它将复杂的LLM部署过程简化为单个可执行文件，并支持跨平台运行。
Petals：分布式共享GPU运行和微调大语言模型，像BitTorrent网络一样共享GPU资源
Petals是一个开源项目，通过分布式计算方式运行大型语言模型（LLMs），用户可在家中利用消费级GPU或Google Colab运行和微调LLMs。
Aphrodite Engine：高效的LLM推理引擎，支持多种量化格式和分布式推理。
Aphrodite Engine是PygmalionAI的官方后端引擎，提供推理端点，支持Hugging Face兼容模型的快速部署，并利用vLLM的Paged Attention技术实现高效的K/V管理和连续批处理。
暂无评论