开通了 google cloud 的 Vertex API 来使用 Calude

2024 年 7 月 17 日
 xywanghb
发现 Vertex API 只能通过 API 的形式使用 Claude , 有没有配套的 python 服务和 UI 壳, 想本地搭一个对话页面
2671 次点击
所在节点    OpenAI
19 条回复
burndown
2024 年 7 月 17 日
xywanghb
2024 年 7 月 17 日
@burndown 这两个我调研了, 好像只支持 google cloud 里面的 gemini 和其他有限的几个, 这几个在 googlecloud 就是支持对话形式的. 但无法用 claude
taotaodaddy
2024 年 7 月 18 日
在官方 web claude3.5 的帮助下,用 flask 或者 fastapi 写一个,很快的
taotaodaddy
2024 年 7 月 18 日
写到一半,就可以用 Vertex API 接着完善了
有点自举的感觉,虽然不是严格意义上的
burndown
2024 年 7 月 18 日
@xywanghb

都可以自定义 `ANTHROPIC_BASE_URL` 和 `ANTHROPIC_API_KEY`
对了,你需要这个开源项目 https://github.com/cg-dot/vertexai-cf-workers
在 Cloudflare 上搭一个代理,把对 Anthropic 的访问重定向到 CF 的代理上
xywanghb
2024 年 7 月 18 日
@taotaodaddy 谢谢, 我看看. 我实现了个方案,改了下 chat next web 源代码 简单适配了一下
xywanghb
2024 年 7 月 18 日
@burndown 还是很多没直接支持, 可能也是 google cloud 那个认证体系和 API 不适配的原因. 走代理感觉有点复杂, 我自己简单改了下 chat next web 源码 把请求 google 的参数返回值适配了下, 用着还行
burndown
2024 年 7 月 18 日
不可能,至少 lobechat 是支持的,CF 上搭架完后,设置完环境变量后就可以在支持自定义 URL 和 API key 的客户端直接使用。我昨天用的没啥问题
xywanghb
2024 年 7 月 18 日
@burndown 哥们, 是我的问题,哈哈哈确实可以, 我走的 google 调用 不是 Anthropic , 导致我接了代理请求的入参格式和 vertex ai 不一样,vertex ai api 得走 Anthropic
taotaodaddy
2024 年 7 月 21 日
你们拿到 API key 了吗? 我按文档上说的,用 cloud cli 认证方式,然后指定区域和项目就可以调 API 了,翻了半天文档没提 API key 的事儿...


@burndown
@xywanghb
Baymaxbowen
2024 年 7 月 21 日
@burndown #8 老哥请问这个是什么问题导致的
"error": [
{
"error": {
"code": 400,
"message": "Project `837595362612` is not allowed to use Publisher Model `projects/claude-gpt/locations/us-central1/publishers/anthropic/models/claude-3-haiku@20240307`",
"status": "FAILED_PRECONDITION"
}
}
]
已经给了权限了
xywanghb
2024 年 7 月 22 日
@taotaodaddy 要下载一个 gcloud 命令行工具
xywanghb
2024 年 7 月 22 日
@xywanghb 然后 gcloud init 一下就可以了 你可以直接运行他那个 python 代码看能不能调通, 然后再接入其他 UI web
taotaodaddy
2024 年 7 月 22 日
@xywanghb 我应该就是这么做的,在你发帖之前就可以调用 API 了,并且自己写的 flask 界面
但是我没有 API_KEY,这意味着不能使用其他人写的 WEB UI
后来仔细看了一下 5#说的,https://github.com/cg-dot/vertexai-cf-workers,明白了自定义 API_KEY
burndown
2024 年 7 月 22 日
@Baymaxbowen model 不对吧,你看 Vertex 里的 model 是啥,客户端调用的是啥?能对应上吗
Baymaxbowen
2024 年 7 月 22 日
@burndown #15 Claude 3.5 Sonnet ,
LobeChat 做检测的时候会报这个 400 的错误,但是我还是能正常对话

burndown
2024 年 7 月 22 日
@Baymaxbowen 我觉的是 lobechat 检测的时候用的模型写死了,根本没调用你列出来的。所以不用管他
renate040114
2025 年 12 月 1 日
感谢大佬
qi12371
1 月 26 日
老哥,请教一下 vertex ai api 中有 nano banana pro 的调用权限吗?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1058012

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX