最近谷歌在Canary 版本的 Chrome 浏览器里面开放了本地大模型的权限，用户可以访问（https://www.chromium.org/getting-involved/dev-channel/），下载 Canary 浏览器。 用法如下：

  1. 打开 chrome://flags/
    将 Prompt API for Gemini Nano 设置为 Enable
    将 Enables optimization guide on device 设置为 Enable BypassPerfR
    重启 Chrome 浏览器

  2. 打开 chrome://components/
    检查是否出现 Optimization Guide On Device Model ，我出现这个选项等了有几天，没有找到好的方法。如果有这个选项，可以检查模型是否成功下载，点击 Check for update ，我目前的版本是Version: 2024.6.5.2205 。
    Gemini Nano的模型文件存放在~/Library/Application Support/Google/Chrome Canary/OptGuideOnDeviceModel/2024.6.5.2205 目录下，weights.bin 文件大概1.78GB。

  3. 测试AI效果
    打开控制台，输入 window.ai 测试是否能有返回AI对象，也可以用下面的代码测试：

const canCreate = await window.ai.canCreateGenericSession()

if (canCreate !== "no") {
    const session = await window.ai.createTextSession();
    const stream = session.promptStreaming("写一个短篇科幻小说！")
    for await (const chunk of stream) {
        console.log(chunk)
    }
    session.destroy()
} else {
    console.error("Gemini Nano not ready yet.", canCreate)
}

刚刚返回的结果：

**未来的世界**
在一个遥远的未来，人类已经征服了太空，并在各个星球上建立了殖民地。其中之一，就是名为“希望号”的星球，那里的人们依靠先进的技术和理念来维持自己的生活。

有一天，希望号上的科学家们在一个秘密的研究室中工作。他们正在研究一种新的能源技术，可以为人类提供无限的电力供应。突然，实验室发生了一场意外事故，导致研究人员们身处于危险之中。

在危难关头，一位年轻的研究员及时赶到，他使用自己的智慧和勇敢，成功地关闭了实验室中的仪器，避免了一场更大的灾难。科学家们获

内容没有输出完整被截断了。

  1. 本地应用测试 下载 LocalhostAI 代码到本地
cd localhostai
npm install
npm run dev

然后就可以访问 http://localhost:3000 在本地和大模型聊天了。