如何体验 Chrome 内置 Gemini Nano 大模型?
最近谷歌在Canary 版本的 Chrome 浏览器里面开放了本地大模型的权限,用户可以访问(https://www.chromium.org/getting-involved/dev-channel/),下载 Canary 浏览器。 用法如下: 打开 chrome://flags/ 将 Prompt API for Gemini Nano 设置为 Enable 将 Enables optimization guide on device 设置为 Enable BypassPerfR 重启 Chrome 浏览器 打开 chrome://components/ 检查是否出现 Optimization Guide On Device Model ,我出现这个选项等了有几天,没有找到好的方法。如果有这个选项,可以检查模型是否成功下载,点击 Check for update ,我目前的版本是Version: 2024.6.5.2205 。 Gemini Nano的模型文件存放在~/Library/Application Support/Google/Chrome Canary/OptGuideOnDeviceModel/2024.6.5.2205 目录下,weights.bin 文件大概1.78GB。 测试AI效果 打开控制台,输入 window.ai 测试是否能有返回AI对象,也可以用下面的代码测试: const canCreate = await window.ai.canCreateGenericSession() if (canCreate !== "no") { const session = await window.ai.createTextSession(); const stream = session.promptStreaming("写一个短篇科幻小说!") for await (const chunk of stream) { console.log(chunk) } session.destroy() } else { console.error("Gemini Nano not ready yet.", canCreate) } 刚刚返回的结果: ...