<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Ai on Cloudside</title><link>https://cloudside.icyyan.com/tags/ai/</link><description>Recent content in Ai on Cloudside</description><generator>Hugo</generator><language>en</language><lastBuildDate>Mon, 29 Jun 2026 17:15:00 +0800</lastBuildDate><atom:link href="https://cloudside.icyyan.com/tags/ai/index.xml" rel="self" type="application/rss+xml"/><item><title>在阿里云 ECS 上最小化部署 Marinara Engine：不在服务器上跑本地模型</title><link>https://cloudside.icyyan.com/posts/marinara-engine-minimal-deployment/</link><pubDate>Mon, 29 Jun 2026 17:15:00 +0800</pubDate><guid>https://cloudside.icyyan.com/posts/marinara-engine-minimal-deployment/</guid><description>&lt;p&gt;Marinara Engine 的官方介绍里把它称为一个本地 AI 聊天、角色扮演和游戏引擎。听起来很容易让人以为：既然是“本地”，是不是服务器上还要准备 GPU、下载模型、跑 llama.cpp 或者 embedding 服务？&lt;/p&gt;
&lt;p&gt;如果只是想把 Marinara 当成一个 Web 应用来用，答案是不需要。我的阿里云 ECS 现在跑的就是这种最小化部署：Docker 里只跑 Marinara Engine 本体，模型能力走外部 API，容器端口只绑定到 &lt;code&gt;127.0.0.1&lt;/code&gt;，再由反向代理对外提供访问。&lt;/p&gt;
&lt;p&gt;本文记录的是这个部署方式。版本核对时间是 &lt;strong&gt;2026-06-29&lt;/strong&gt;：官方最新稳定版是 &lt;code&gt;v2.0.6&lt;/code&gt;，我当前服务器上实际运行的是 &lt;code&gt;ghcr.nju.edu.cn/pasta-devs/marinara-engine:2.0.5-lite&lt;/code&gt;。新部署可以优先用最新稳定版的 &lt;code&gt;*-lite&lt;/code&gt; tag；如果你想完全复刻本文环境，就固定到 &lt;code&gt;2.0.5-lite&lt;/code&gt;。&lt;/p&gt;
&lt;h2 id="先理解这个最小化是什么意思"&gt;先理解这个“最小化”是什么意思&lt;/h2&gt;
&lt;p&gt;最小化不是功能阉割到不能用，而是把不适合小云服务器承担的部分拿掉。&lt;/p&gt;
&lt;p&gt;Marinara Engine 官方提供 lite 镜像。根据官方容器安装文档，lite 镜像去掉了三类较重的离线能力：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;本地 sidecar 模型，也就是容器内直接跑本地 LLM 的那部分。&lt;/li&gt;
&lt;li&gt;本地 embedding 模型。&lt;/li&gt;
&lt;li&gt;依赖本地 embedding 的语义记忆检索。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;保留下来的能力仍然包括聊天、角色、游戏模式、agent、lorebook、角色卡、远程 LLM API 连接等。也就是说，只要你本来就打算用 OpenAI、OpenRouter、Gemini、Anthropic 或者其他远程 OpenAI-compatible API，这种部署方式就够了。&lt;/p&gt;
&lt;p&gt;我这里的结构是：&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-text" data-lang="text"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;浏览器
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; -&amp;gt; 阿里云安全组开放 80/443
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; -&amp;gt; Pingap / Nginx / Caddy 这类反向代理
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; -&amp;gt; 127.0.0.1:7860
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; -&amp;gt; Docker 容器内的 Marinara Engine
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; -&amp;gt; 远程 LLM / 图片 / TTS API
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;看到这里，问题就变成了：服务器上到底需要跑什么？答案很少：Docker、一个 compose 文件、一个 &lt;code&gt;.env&lt;/code&gt; 文件、一个反向代理入口。&lt;/p&gt;</description></item></channel></rss>