是否曾经想将 hugging face 模型部署到 aws lambda，但却被容器构建、冷启动和模型缓存所困扰？以下是如何使用 scaffoldly 在 5 分钟内完成此操作。
长话短说
在 aws 中创建名为 .cache 的 efs 文件系统：
转到 aws efs 控制台点击“创建文件系统”将其命名为.cache选择任意 vpc（scaffoldly 会处理剩下的事情！）
从 python-huggingface 分支创建您的应用程序：
npx scaffoldly create app --template python-huggingface
部署它：
cd my-app && npx scaffoldly deploy
就是这样！您将获得在 lambda 上运行的 hugging face 模型（以 openai-community/gpt2 为例），并配有适当的缓存和容器部署。
专业提示：对于 efs 设置，您可以将其自定义为突发模式下的单个 az，以进一步节省成本。 scaffoldly 会将 lambda 函数与 efs 的 vpc、子网和安全组进行匹配。
✨ 查看现场演示和示例代码！
问题
将机器学习模型部署到 aws lambda 传统上涉及：
构建和管理 docker 容器弄清楚模型缓存和存储处理 lambda 的大小限制管理冷启动设置 api 端点
当您只想为模型提供服务时，需要进行大量基础设施工作！
解决方案
scaffoldly 通过一个简单的配置文件来处理所有这些复杂性。这是一个提供 hugging face 模型的完整应用程序（以 openai-community/gpt2 为例）：
# app.pyfrom flask import flaskfrom transformers import pipelineapp = flask(__name__)generator = pipeline('text-generation', model='openai-community/gpt2')@app.route("/")def hello_world(): output = generator("hello, world,") return output[0]['generated_text']
// requirements.txtflask ~= 3.0gunicorn ~= 23.0torch ~= 2.5numpy ~= 2.1transformers ~= 4.46huggingface_hub[cli] ~= 0.26
// scaffoldly.json{ "name": "python-huggingface", "runtime": "python:3.12", "handler": "localhost:8000", "files": ["app.py"], "packages": ["pip:requirements.txt"], "resources": ["arn::elasticfilesystem:::file-system/.cache"], "schedules": { "@immediately": "huggingface-cli download openai-community/gpt2" }, "scripts": { "start": "gunicorn app:app" }, "memorysize": 1024}
它是如何运作的
scaffoldly 在幕后做了一些聪明的事情：
智能集装箱建筑：
自动创建针对 lambda 优化的 docker 容器处理所有 python 依赖项，包括 pytorch无需编写任何 docker 命令即可推送到 ecr
高效的模型处理:
使用 amazon efs 缓存模型文件部署后预下载模型以加快冷启动在 lambda 中自动挂载缓存
lambda 就绪设置:
rus 建立一个合适的 wsgi 服务器（gunicorn）创建公共 lambda 函数 url代理函数url请求gunicorn管理 iam 角色和权限
部署是什么样的
这是我在此示例中运行的 npx 脚手架部署命令的输出：
现实世界的性能和成本
✅ 成本：aws lambda、ecr 和 efs 约 0.20 美元/天
✅ 冷启动：第一次请求约 20 秒（模型加载）
✅ 热烈请求：5-20秒（基于cpu的推理）
虽然此设置使用 cpu 推理（比 gpu 慢），但这是一种试验 ml 模型或服务低流量端点的极其经济高效的方法。
其他型号定制
想要使用不同的模型吗？只需更新两个文件：
更改app.py中的模型：
generator = pipeline('text-generation', model='your-model-here')
更新scaffoldly.json中的下载：
"schedules": { "@immediately": "huggingface-cli download your-model-here"}
使用私有或门控模型
scaffoldly 通过 hf_token 环境变量支持私有和门控模型。您可以通过多种方式添加 hugging face 令牌：
本地开发：添加到您的 shell 配置文件（.bashrc、.zprofile 等）：
export hf_token="hf_rh...a"
ci/cd：添加为 github actions secret：
# in your repository settings -> secrets and variables -> actions hf_token: hf_rh...a
令牌将自动用于下载和访问您的私人或门控模型。
ci/cd 奖金
scaffoldly 甚至生成用于自动部署的 github action：
name: scaffoldly deployjobs: deploy: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - uses: scaffoldly/scaffoldly@v1 with: secrets: ${{ tojson(secrets) }}
自己尝试一下
完整的示例可以在 github 上找到：
脚手架/脚手架示例#python-huggingface
您可以通过运行以下命令创建您自己的示例副本：
npx scaffoldly create app --template python-huggingface
您可以看到它正在实时运行（尽管由于 cpu 推断，响应可能会很慢）：
现场演示
接下来是什么？
尝试部署不同的拥抱脸模型加入 discord 上的 scaffoldly 社区查看其他示例如果您觉得这有用，请给我们的代码库加星标！脚手架工具链scaffoldly 示例存储库
许可证
scaffoldly 是开源的，欢迎社区贡献。
这些示例已获得 apache-2.0 许可证的许可。脚手架工具链已获得 fsl-1.1-apache-2.0 许可证。
您还想在 aws lambda 中运行哪些其他模型？请在评论中告诉我！
以上就是只需几步即可将拥抱脸部模型部署到 AWS Lambda的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1354365.html
微信扫一扫 
支付宝扫一扫 
