Spring AI 2.0+Gemma 4端侧部署：Java离线AI应用全教程

文章目录一、开篇为什么要让AI断网工作二、技术选型为什么选择这对CP2.1 Spring AI 2.0Java程序员的春天2.2 Gemma 4能在笔记本跑的小钢炮三、环境准备工欲善其事必先利其器3.1 硬件要求3.2 安装 Ollama本地模型管家四、Spring Boot 项目初始化4.1 pom.xml 核心依赖4.2 application.yml 配置五、核心代码最简单AI对话接口六、实战离线Java代码审查助手七、进阶流式输出 RAG 私有知识库7.1 流式对话逐字输出7.2 RAG 向量库Redis八、性能优化与踩坑九、总结无意间发现了一个巨牛巨牛巨牛的人工智能教程非常通俗易懂对AI感兴趣的朋友强烈推荐去看看传送门https://blog.csdn.net/HHX_01一、开篇为什么要让AI断网工作想象一下你在高铁上信号断断续续突然想查个技术文档结果发现因为没网连ChatGPT都打不开。这时候你就像那个被困在孤岛上、手里有金条却花不出去的富翁——别提多憋屈了。很多程序员兄弟以为搞AI就必须联网调API就像认为吃顿好饭必须去米其林一样。其实本地化部署大模型这个技能就像是在自家厨房做满汉全席——既省钱不用按token付费又安全数据不出本地还能离线使用飞机上也照样干活。今天这篇教程咱们要用Spring AI 2.0搭配Google Gemma 4手把手教你搭建一套完全离线的Java AI应用。二、技术选型为什么选择这对CP2.1 Spring AI 2.0Java程序员的春天Spring AI 2.0 基于 Spring Boot 4.0 和 Spring Framework 7.0 构建彻底打通了Java与AI的任督二脉。核心亮点Java 21 起步支持虚拟线程、模式匹配内置 Redis 向量存储RAG 开发极简OpenAI SDK 原生兼容深度集成 Ollama本地模型一键接入2.2 Gemma 4能在笔记本跑的小钢炮Google Gemma 4 是端侧轻量化大模型性能强、资源占用低支持离线运行。关键参数上下文长度256K tokens支持文本/多模态理解量化后体积小普通电脑可流畅运行三、环境准备工欲善其事必先利其器3.1 硬件要求内存16GB 起步推荐 32GB显卡NVIDIA 独显 6GB 更佳非必需硬盘预留 20GB 空间系统Windows / macOS / Linux 均可3.2 安装 Ollama本地模型管家macOS / Linux 一键安装curl-fsSLhttps://ollama.com/install.sh|shWindows 直接官网下载安装包。下载 Gemma 4 模型# 12B 推荐版ollama pull gemma4:12b# 低配机器用 4Bollama pull gemma4:4b验证ollama list四、Spring Boot 项目初始化4.1 pom.xml 核心依赖org.springframework.boot spring-boot-starter-parent 4.0.0-M1 org.springframework.ai spring-ai-starter-model-ollama org.springframework.boot spring-boot-starter-web4.2 application.yml 配置spring:ai:ollama:base-url:http://localhost:11434chat:model:gemma4:12boptions:temperature:0.7num-predict:2048server:port:8080五、核心代码最简单AI对话接口importorg.springframework.ai.chat.model.ChatModel;importorg.springframework.web.bind.annotation.*;RestControllerRequestMapping(/ai)publicclassChatController{privatefinalChatModelchatModel;publicChatController(ChatModelchatModel){this.chatModelchatModel;}GetMapping(/chat)publicStringchat(RequestParamStringmessage){returnchatModel.call(message);}}启动后访问http://localhost:8080/ai/chat?message用Java写冒泡排序拔掉网线依然可用真正离线AI。六、实战离线Java代码审查助手importorg.springframework.ai.chat.messages.*;importorg.springframework.ai.chat.prompt.Prompt;importorg.springframework.web.bind.annotation.*;importorg.springframework.web.multipart.MultipartFile;importjava.io.IOException;importjava.nio.charset.StandardCharsets;importjava.util.List;RestControllerRequestMapping(/code-review)publicclassCodeReviewController{privatefinalChatModelchatModel;publicCodeReviewController(ChatModelchatModel){this.chatModelchatModel;}PostMapping(/upload)publicStringreviewCode(RequestParam(file)MultipartFilefile)throwsIOException{StringcodenewString(file.getBytes(),StandardCharsets.UTF_8);StringsystemPrompt 你是资深Java代码审查专家审查以下内容 1. 空指针风险 2. 资源泄漏 3. 线程安全 4. SQL注入、XSS 5. 性能瓶颈 输出格式 【严重】【警告】【建议】 给出重构代码。 ;MessagesysnewSystemMessage(systemPrompt);MessageusernewUserMessage(代码\njava\ncode\n);PromptpromptnewPrompt(List.of(sys,user));returnchatModel.call(prompt).getResult().getOutput().getText();}}七、进阶流式输出 RAG 私有知识库7.1 流式对话逐字输出importorg.springframework.ai.chat.model.StreamingChatModel;importorg.springframework.web.bind.annotation.*;importreactor.core.publisher.Flux;RestControllerRequestMapping(/stream)publicclassStreamController{privatefinalStreamingChatModelstreamingChatModel;publicStreamController(StreamingChatModelstreamingChatModel){this.streamingChatModelstreamingChatModel;}GetMapping(value/chat,producestext/plain;charsetUTF-8)publicFluxstreamChat(RequestParamStringmessage){returnstreamingChatModel.stream(message).map(chunk-chunk.getResult().getOutput().getText());}}7.2 RAG 向量库RedisConfigurationpublicclassRAGConfig{BeanpublicRedisVectorStorevectorStore(EmbeddingModelembeddingModel){returnRedisVectorStore.builder(embeddingModel).initializeSchema(true).build();}}八、性能优化与踩坑模型加载慢使用 4bit 量化版本ollama pull gemma4:12b-q4_0响应超时延长 Rest 客户端超时时间Windows 端口冲突ollama serve--port11435并发卡顿虚拟线程 缓存 异步九、总结本篇完整实现Ollama Gemma4 本地离线大模型Spring AI 2.0 极简集成基础对话、代码审查、流式输出、私有知识库 RAG优势完全离线数据不泄露零 token 费用Java 生态原生友好AI 时代Java 程序员必须掌握本地部署从此不依赖网络、不依赖第三方API安全可控、企业内网首选。无意间发现了一个巨牛巨牛巨牛的人工智能教程非常通俗易懂对AI感兴趣的朋友强烈推荐去看看传送门https://blog.csdn.net/HHX_01