JVM 内存大对象监控和优化实践
发表于 以下文章来源于vivo互联网技术 ，作者Liu Zhen vivo互联网技术 . 分享 vivo 互联网技术干货与沙龙活动，推荐最新行业动态与热门会议。 作者：vivo 互联网服务器团队 - Liu Zhen、Ye Wenhao服务器内存问题是影响应用程序性能和稳定性的重要因素之一，需要及时排查和优化。本文介绍了某核心服务内存问题排查与解决过程。首先在JVM与大对象优化上进行了有效...
-
91532 views阅读
-
212035 views阅读
【免费电子书下载】Trino优化宝典
发表于 Trino作为一款流行的开源分布式SQL查询引擎，目前已成为跨数据源分析作业不可或缺的工具。然而，许多Trino用户和开发人员仍然面临着查询性能不稳定所带来的挑战。为了助力企业和机构应对这些挑战，了解Trino的复杂性和性能优化技术，最大程度地获取数据价值，我们推出第三期宝典《Trino优化宝典》，包含...
-
177578 views阅读
分类树菜单，我从2s优化到0.1s
发表于 以下文章来源于苏三说技术 ，作者苏三呀 苏三说技术 . 作者曾浪迹几家大厂，掘金优秀创作者，CSDN万粉博主。 「 关注“石杉的架构笔记”，大厂架构经验倾囊相授 」文章来源：【公众号：苏三说技术】前言分类树查询功能，在各个业务系统中可以说随处可见，特别是在电商系统中。但就是这样一个简单的分类树查询功能，我们却优化了5次。到底是怎么回事呢？背景我们的网站使用了Sp...
-
312412 views阅读
当运筹优化遇见大模型！
发表于 当运筹优化、强化学习等决策智能技术遇见大模型会产生怎样的火花？同时，在决策智能领域近期又有哪些重大进展？本周末，DataFun将举办第二届决策智能峰会，本次峰会将围绕强化学习、运筹优化、决策大模型、AI for Science等热门技术话题，组织7个论坛，涵盖了供应链、新能源、交通、物流等多个产业领域。峰会将为参会者提供一个深入了解决策智能的机会，也将为产业互联网的发展提供一个交流...
-
443290 views阅读
Impala在数据湖中的性能优化
#原创精选 421 个 #数据湖 12 个 #impala 1 个 导读 Impala是一个高性能的MPP查询引擎，纯计算无状态的特性使其天然就适合数据湖的场景。本次分享将介绍Impala中的性能优化，包括Iceberg和Codegen相关的优化等。全文目录：1. Impala与数据湖2. Iceberg相关优化3. Codegen优化4. 未来展望分享嘉宾｜黄权隆 Cloud...
-
554125 views阅读
ICML 2023 | 清华团队提出使用低维优化求解器求解高维/大规模优化问题
在 2023 年 7 月即将召开的机器学习领域知名国际会议 ICML 2023 中，清华大学计算机系徐华老师团队以长文的形式发表了采用低维优化求解器求解高维/大规模优化问题的最新研究成果（论文标题“GNN&GBDT-Guided Fast Optimizing Framework for Large-scale Integer Programming”）。本项研究针对工业界对于大...
-
524741 views阅读
美团外卖推荐关于用户新颖体验优化的技术探索
1 背景介绍1.1 为什么要优化用户新颖性？2022年初，美团外卖搜索推荐技术团队通过内部访谈、外部用研，发现用户对外卖首页Feed推荐的新颖性问题诟病较多：首页Feed推荐了过多的复购复点商家，无法满足用户尝新的诉求。我们通过分析，发现主要原因是：历史上策略优化[1]目标都聚焦在提升交易效率（RPM）和全局GMV上，对用户兴趣的探索不足，因而在外卖首页Feed的前几位，都是为用户重复曝光...
-
484477 views阅读
微软大规模深度学习训练优化实践
ChatGPT、文心一言、知海图、星火大模型~~~各类AI工具铺天盖地的袭来其本质是人工智能（AI）和机器学习（ML）崛起带来的巨大变革从自动驾驶到智能助手从医疗诊断到金融预测从能源利用到智能制造对诸多企业来说这次变革带来的不是“好”到“更好”的飞跃而是“存与亡”的抉择如何加速AI大模型训练过程已经成为这波浪潮中“生死存亡”的关键扫码免费下载大模型突围宝典加速！意味着效率、关乎着成本、倚...
-
472943 views阅读
IEEE TC'23：基于采样的GNN训练端到端性能优化TurboGNN
图神经网络（Graph Neural Network，GNN）已经成为图表示学习中最强大的模型之一。基于采样的训练方法被引入从而有效地训练大规模图，并且不会影响模型准确度。然而，由于大量的原子操作和多个GNN处理阶段串行执行模式造成严重的负载不均衡，现有GNN系统难以有效利用多核加速器，尤其是GPU。在本文中，我们提出了一些优化方法，以加速基于采样的GNN训练过程的端到端性能。具体而言，...
-
495098 views阅读
数据平台架构下的成本、性能优化实践
导读：近年来几乎所有的数据仓库都增加了对Parquet和ORC格式的外部表支持，这使数仓用户可以从相同的SQL引擎查询数据湖表，但它不会使数据湖表更易于管理，也不会消除仓库中数据的ETL复杂性、陈旧性和高级分析挑战。 LakeHouse(湖仓一体)作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架构的下一站灯塔。 业界为什么要做湖仓一体...
-
548877 views阅读
Presto 在阿里云实时日志分析中的实践和优化
#原创精选 398 个 #阿里巴巴 36 个 导读 本文将分享阿里云千亿规模实时日志分析的架构设计和实践。文章将围绕下面四点展开：1. 业务背景2. 核心问题3. 关键设计4. 未来展望分享嘉宾｜顾汉杰 阿里巴巴 技术专家编辑整理｜李科出品社区｜DataFun01业务背景首先第一部分介绍一下我们的业务背景。阿里云 SLS 是一个云上一站式可观测日志服务平台。SLS 提供了强大的...
-
755752 views阅读
黑芝麻智能、NTU提出使用栅格化视角优化BEV算法中矢量化场景构建
#地图矢量化 1 个 #BEV感知算法 1 个 #自动驾驶 12 个 黑芝麻智能的科研团队在最新公开的论文中提出两点创新：一是建立了一种更加准确和合理的基于栅格化的“矢量化高精地图构建”的评价指标；二是推出了 MapVR，一个受益于栅格化视角的更精准的“矢量化高精地图构建”的框架。引言在自动驾驶领域，BEV感知能为自动驾驶感知任务提供有效的时空表征方法，将成为车载感知的主流发展方向，能在...
