构建数据分析项目不再令人望而生畏！本指南提供一个轻量级、灵活且易于上手的解决方案，帮助您快速搭建一个功能强大的数据分析平台。它自动化数据收集、无服务器数据库存储以及交互式仪表板展示，所有操作都基于python完成。本例使用coingecko的加密货币数据进行演示，但您可以轻松替换成任何其他数据集。
核心技术栈
本项目基于以下三个关键技术：
Neon (无服务器PostgreSQL): 提供自动扩展的无服务器PostgreSQL数据库，无需管理底层基础设施，非常适合数据分析项目。
Airflow (通过Astronomer): 用于自动化ETL工作流程。本项目使用Airflow从CoinGecko获取历史和实时加密数据，并将其存储到Neon数据库中。
Streamlit: 构建基于Python的交互式仪表板的简易方法。只需编写Python脚本，Streamlit即可自动生成用户界面。
数据流向
Airflow定时从CoinGecko API提取加密货币数据，Neon数据库高效地存储这些数据，方便后续查询。Streamlit应用读取存储的数据，并将其可视化在交互式仪表板中。
项目结构
项目采用模块化结构，清晰易懂：
├── astronomer/ # Airflow DAGs for ETL jobs│ ├── dags/│ ├── Dockerfile│ ├── requirements.txt├── frontend/ # Streamlit app code│ ├── app.py│ ├── Dockerfile│ ├── requirements.txt├── .pre-commit-config.yaml├── compose.yaml└── README.md
astronomer/：包含用于数据摄取的Airflow DAGs。frontend/：包含Streamlit应用程序代码。
Docker支持 所有组件都支持Docker，方便部署和管理。
本地运行项目
克隆仓库:
git clone https://github.com/olgazju/data_analytics_dashboard_starter_kit.gitcd data_analytics_dashboard_starter_kit
设置Python虚拟环境: (请根据您的系统调整命令)
brew install pyenv pyenv-virtualenvpyenv install 3.12.0pyenv virtualenv 3.12.0 da_kitpyenv local da_kit
使用Docker运行: 确保已安装Docker，然后运行：
docker-compose build
仪表板将在http://localhost:8501 上运行。
部署
部署Airflow DAGs: 导航到astronomer/文件夹，并使用Astronomer平台部署DAGs。部署Streamlit应用程序: 使用Streamlit Cloud托管应用程序。连接您的GitHub仓库，Streamlit Cloud将自动处理部署。
下一步
如果您对数据分析感兴趣并希望快速上手，不妨尝试使用这个数据分析仪表板启动器套件。您可以fork仓库，尝试不同的数据源，并分享您的成果。欢迎提供反馈和建议！
以上就是缩放数据分析：用霓虹灯，气流和简化建立起动套件的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1355943.html
微信扫一扫 
支付宝扫一扫 
