关于使用 Lazy Collections 来提高 Laravel Excel 读取的性能详解(轻松支持百万数据)

%ign%ignore_a_1%re_a_1% 6 中添加了一种新类型的集合: lazy collections。 如果需要处理非常大的数据集(数千或数百万行)而不会遇到内存限制,那么它们是非常棒的。

推荐:laravel教程

我最近的任务是在工作中的一个项目中重构 Excel 导出。 问题是,由于数据集太大,Laravel 无法处理,导出无法再创建。 数据库查询返回了大约 300,000 个结果! 应用程序产生超时或一直内存不足。

一种天真的方法是增加超时时间或内存限制,并希望下次出现问题时,另一个人会处理这个问题。 但这不是我的工作方式。 我不喜欢创可贴。 我喜欢具体的、长期的解决方案。

Laravel Excel 扩展包已经相当灵活。 通过在使用 FromQuery-concerns 时使用「chunks」,它在减少数据库负载方面做得很好。 然而,我们的导出仍然很难处理大数据集。

我和我的同事讨论过,我们是否应该完全重写这个特性:将导出推送到队列中,并在导出结束时向用户发送通知。 然而,这个功能在这个应用程序中只是一个很小的东西。 对我们来说,仅仅为了一个简单的导出而增加如此多的开销是没有意义的。

那天晚些时候,我有一个小小的「我发现了」的时刻,因为我记得 Laravel 中有 LazyCollections 这个东东。

我重新编写了导出:它现在使用 FromCollection-concern,而不是 FromQuery。 我必须对 collection() 方法进行的惟一更改是将查询构建器链末尾的 get() 方法替换为 cursor()。

下面是我们导出功能的简化版本。 Request 对象通过构造函数传递,因此我们可以根据用户在 UI 中选择的内容对查询进行调整。

request = $request;    }    public function collection()    {        return User::query()            ->when($this->request->get('include_subscribed'), function ($q) {                return $q->where('is_subscribed', true);            })            ->cursor(); // ← 重要的一点    }}

我相信你在你的项目中遇到了内存问题。 你增加了内存限制,希望问题已经解决了 (我自己已经做过无数次了)。

如果是在 Laravel 项目中,我希望,我可以让你重新查看该码并使用 LazyCollections 重写。

修复这个问题非常有趣,所以我做了一个小小的基准测试:我们的导出现在可以轻松地导出数百万行,而不会遇到内存限制。 太酷了!

以上就是关于使用 Lazy Collections 来提高 Laravel Excel 读取的性能详解(轻松支持百万数据)的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/93062.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
win10重装系统后很卡的解决方法
上一篇 2025年11月19日 03:49:56
《对马岛之魂:导演剪辑版》PC 版峰值在线超 7 万!耕升显卡游戏体验拉满
下一篇 2025年11月19日 03:51:58

相关推荐

  • ChatGPT代码会出错吗_AI编程中5个常见错误及解决方法

    AI编程中常见错误包括语法不匹配、逻辑遗漏、API误用、安全漏洞和集成困难,需通过版本明确、测试验证、文档核对、安全扫描和上下文补充等方式解决,结合人工审查与测试才能确保代码质量。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ ChatGP…

    2026年9月20日
    100
  • Laravel中的CSRF保护机制是什么?

    laravel通过生成和验证唯一的token来实现csrf保护。1)生成token并嵌入表单,2)验证提交的token是否与session中的token匹配,3)可将特定路由排除在csrf保护之外,4)使用@csrf指令生成token,5)中间件自动验证token,确保请求经过csrf验证。 Lar…

    2026年9月20日
    000
  • PHP框架依赖管理工具选哪个_PHP框架依赖管理工具对比

    Composer是PHP依赖管理的首选工具,通过composer.json定义依赖、自动安装包并处理版本冲突,支持主流框架、拥有丰富生态和自动加载机制,尽管存在学习曲线和潜在依赖冲突,但其优势远超其他方案。 PHP框架依赖管理,其实就是选一个靠谱的工具来帮你自动搞定项目里各种代码包的安装、更新和卸载…

    2026年9月20日
    000
  • 如何使用Laravel队列(Queues)提升性能?

    是的,laravel队列可以显著提升应用性能。通过将耗时任务推入队列异步处理,用户可以立即得到响应,从而提高应用的响应速度和稳定性。例如,将邮件发送任务推入队列后,用户下单时无需等待邮件发送即可完成操作,减轻了服务器负载。 使用Laravel队列(Queues)提升性能?这是一个非常好的问题!在我的…

    2026年9月20日
    100
  • Laravel应用的安全头(Security Headers)配置

    在laravel中配置安全头可以通过创建并使用中间件来实现。具体步骤如下:1. 创建一个中间件类,添加所需的安全头,如content-security-policy、x-frame-options等。2. 将中间件添加到app/http/kernel.php中的$middleware数组中,确保所有…

    2026年9月20日
    100
  • Eloquent ORM基础:定义模型和使用

    eloquent orm简化了laravel中的数据库操作。1.定义模型:创建模型类并指定表名和可批量赋值的字段。2.使用模型进行crud操作:如创建新用户。3.利用关系定义处理复杂数据结构。4.注意性能优化,如使用eager loading避免循环查询。5. beware of common pi…

    2026年9月20日
    000
  • 如何在Laravel中配置HTTPS支持

    配置https支持主要分为以下步骤:1.获取ssl证书,可通过购买或使用let’s encrypt免费证书;2.配置服务器(nginx或apache),设置443端口及证书路径;3.强制https重定向,通过服务器配置或laravel中间件实现;4.配置laravel的url生成为htt…

    2026年9月20日
    100
  • 如何在Laravel中配置多语言支持

    在laravel中配置多语言支持的核心步骤包括定义语言包、设置应用语言环境以及使用翻译函数。1. 创建语言文件:在resources/lang目录下为每种语言创建子目录(如en和zh-cn),并在其中定义php数组存储翻译字符串;2. 设置语言环境:通过config/app.php中的’…

    2026年9月20日
    000
  • Laravel中的路由(Routing)是如何工作的?

    laravel中的路由通过将http请求映射到应用中的特定逻辑来工作。1)请求首先经过routes目录下的web.php或api.php文件寻找匹配的路由定义。2)匹配成功后,执行关联的控制器方法或闭包函数。3)高级功能包括命名路由、中间件和路由缓存,这些优化了应用的结构、安全性和性能。 Larav…

    2026年9月20日
    000
  • 如何在Laravel中使用Blade模板

    blade模板引擎是laravel框架的核心组件,用于创建动态视图。它允许在html中嵌入php代码,同时保持代码简洁易读。其使用步骤包括:1. 在resources/views目录下创建以.blade.php为扩展名的模板文件;2. 使用blade指令如@if、@foreach控制逻辑与渲染;3.…

    2026年9月20日
    000
  • 如何在Laravel中实现软删除功能

    软删除是通过添加“已删除”标记而非真正删除数据来保留记录,laravel 提供内置支持。1. 在模型中引入 softdeletes trait 并指定 deleted_at 为日期类型;2. 创建迁移文件使用 softdeletes() 方法添加 deleted_at 字段;3. 调用 delete…

    2026年9月20日
    000
  • 如何在Laravel中定义模型关联关系

    在laravel中定义模型关联关系的核心是通过eloquent orm构建智能数据网络,以面向对象的方式简化数据库操作。1. 一对一关联(hasone/belongsto)用于如用户与电话的关系;2. 一对多关联(hasmany/belongsto)适用于文章与评论的场景;3. 多对多关联(belo…

    2026年9月20日
    000
  • 如何在Laravel中管理环境变量

    在laravel中管理环境变量的核心在于利用.env文件和config配置系统。具体来说,1. 使用.env文件存储环境变量,如数据库连接信息、api密钥等;2. 通过laravel的配置文件(如config/database.php)读取.env中的值,并使用config()函数获取配置;3. 在…

    2026年9月20日
    000
  • 如何在Laravel中实现数据导出

    在laravel中实现数据导出,核心思路是根据具体需求选择合适方法。1. 使用maatwebsite/laravel-excel处理excel或csv导出;2. 通过队列优化大量数据导出性能;3. 结合分块读取降低内存占用;4. 利用lazy collections控制内存使用;5. 支持多种格式如…

    2026年9月20日
    000
  • 如何在Laravel中处理异常情况

    laravel处理异常的核心在于集中化管理和响应错误。1. 异常处理通过 app/exceptions/handler.php 文件实现,其中 report 方法用于记录异常,支持多种日志驱动并可自定义逻辑;2. render 方法将异常转换为http响应,根据环境变量显示不同错误页面,并支持自定义…

    2026年9月20日
    000
  • 如何在Laravel中使用集合方法

    如何高效地使用laravel集合方法?laravel集合提供链式操作,允许以函数式风格处理数据,通过collect()将数组转为集合对象后即可调用如map()转换元素、filter()过滤数据、reduce()归约计算、each()遍历执行操作、pluck()提取特定字段、sortby()排序等方法…

    2026年9月20日
    100
  • 如何在Laravel中实现URL重写

    laravel的url重写通过路由系统实现,而非服务器配置。1. 路由定义将url映射到控制器或闭包,如route::get(‘/products’, ‘controller@index’);2. 参数可通过{id}形式传递,并支持正则约束,如-&gt…

    2026年9月20日
    000
  • 如何在Laravel中处理JSON响应

    1.在laravel中处理json响应最直接且推荐的方式是使用response()->json()方法或直接返回数组或集合,laravel会自动转换为json;2.构建复杂json数据结构时应使用api资源(api resources),通过创建资源类定义数据结构并从控制器返回,保持控制器轻量…

    2026年9月20日
    100
  • 如何在Laravel中使用宏指令

    宏指令在laravel中是一种运行时动态扩展类功能的机制。1. 它通过调用类的macro静态方法,传入名称和闭包来实现;2. 常用于给str、request、response、builder等核心类添加便捷方法;3. 与继承和特性不同,宏指令是非侵入性的运行时扩展,适合轻量级工具方法或链式调用场景;…

    2026年9月20日
    000
  • 如何在Laravel中实现数据排序

    在laravel中实现数据排序的核心方法是使用eloquent查询构建器的orderby方法。1. 基础排序可通过orderby指定字段及方向,如按创建时间倒序排列;2. 可使用latest()和oldest()分别实现倒序和正序排列;3. 多字段排序通过链式调用多个orderby方法实现,如先按姓…

    2026年9月20日
    100

发表回复

登录后才能评论
关注微信