- 它们允许您将复杂和重复的逻辑封装到可重用的块中,从而优化代码维护。
- 根据环境的不同,实现方式也多种多样,从 SQL 中的标量函数和表函数到 Python 中的生成器和 lambda 表达式。
- 它通过减少网络流量和利用数据库系统中的执行缓存,显著提高了性能。
当我们深入开发领域,无论是用 Python 编写代码还是用 SQL 管理数据,总会遇到这样的情况:我们一遍又一遍地重复编写相同的代码。这时,用户自定义函数就派上了用场。它们本质上是一种工具,允许我们将一段逻辑打包,为其命名,并在需要时调用它,而无需重写整个流程。
基本上,它们的工作原理就像一台小型机器:你给它一些输入数据,函数在内部执行其逻辑运算,然后返回结果。这种代码模块化的能力正是区分新手程序员和懂得如何扩展项目的程序员的关键所在,因为它极大地简化了错误修复,并使系统更加简洁和专业。
SQL Server 和 Azure 中的函数生态系统

在 Microsoft SQL Server 环境中,用户定义函数 (UDF) 是接受参数并返回值的例程,该值可以是单个数据片段,也可以是整个表。它们的主要优势之一是模块化编程,因为您可以修改函数而无需修改主程序。此外,它们还有助于提高速度,因为将执行计划存储在缓存中可以降低编译成本。
在 SQL 中,函数分为不同的类别。标量函数返回单个值,可以是内联函数,也可以是多语句函数。另一方面,表值函数(TVF) 返回一组数据;插入函数没有函数体,并且基于 SELECT 语句。重要的是不要将这些函数与系统函数混淆,系统函数是内置的,无法修改。
注意副作用;SQL 函数无法更改外部资源的状态,例如修改数据库表或发送电子邮件。它只能修改局部变量。此外,为了提高性能,建议在确定性函数中使用模式绑定,将函数绑定到它所使用的对象的模式。
使用 Python 和向量化技术增强 BigQuery 功能

在 BigQuery 环境中,Python 的用户自定义函数 (UDF) 让您可以直接将 Python 的强大功能应用于 SQL 查询。这尤其有用,因为您可以从 PyPI 导入第三方库或从云存储中导入文件,从而实现比纯 SQL 更深入的分析。
这里的关键在于向量化。与其逐行处理数据(这可能很慢),不如使用 pandas DataFrame 来批量处理数据。这可以通过设置 ` max_batching_rows`参数来实现,该参数通过批量处理数据显著提高了查询性能。
为了确保这些功能正常运行,需要进行精确的IAM 角色管理。创建功能的用户需要数据编辑权限,而调用功能的用户需要 BigQuery 用户权限。此外,如果功能需要访问互联网查询外部服务,则必须配置云资源连接。
Python 的多功能性:从 Lambda 表达式到生成器

在纯 Python 中,由于使用了`def`关键字,定义函数非常简单。我们可以传递固定参数、默认值,甚至可以使用星号(`*args` 和 `**kwargs`)传递任意数量的参数。这为创建能够适应任何数据输入的工具提供了极大的灵活性。
还有匿名函数或 lambda 函数,它们非常适合执行快速、简短且不需要正式名称的任务。但说到内存效率,生成器才是真正的佼佼者。与使用 `return` 一次性返回所有结果的普通函数不同,生成器使用`yield`逐步传递值,使其能够处理无限序列而不会耗尽计算机的 RAM。
在 Power BI 中使用 DAX 实现逻辑重用

在 Power BI 数据分析领域,DAX 用户定义函数 (UDF) 可避免业务逻辑分散在成千上万个不同的度量值中。只需定义一次函数,即可确保整个语义模型中计算的一致性,从而只需更新一个点,即可轻松地将业务规则的任何更改全局应用。
这些函数支持类型提示(例如 NUMERIC 或 STRING)和参数传递模式,包括立即求值和延迟求值。这使得代码更加健壮且不易出错,因为系统可以在执行操作之前验证传递的数据是否正确。
将所有这些逻辑集成到模型中的能力使得函数成为一等对象,在模型浏览器中可见,并且可以在计算列和度量或可视化元素中使用,从而优化数据分析师的工作流程。
无论是借助 Python lambda 函数的简洁性、BigQuery 的向量化能力、SQL Server 的严谨性,还是 DAX 的架构,我们都能创建自己的例程,从而将杂乱无章的脚本转化为井然有序、高效的系统。掌握这些工具不仅可以缩短开发时间,还能确保软件的长期可维护性,并能以最小的资源消耗处理海量信息。
常见问题
SQL 中的标量函数和表函数有什么区别?
标量函数返回特定类型的单个数据,而表值函数返回一组结构类似于表格的结果。
BigQuery Python UDF 中向量化的目的是什么?
向量化允许使用 pandas.DataFrame 同时处理多行数据,而不是逐行解析,从而显著提高查询速度。
Python 中的 void 函数是什么?
这是一个执行特定操作(例如打印消息)但不向调用者返回任何值的函数,其默认值为 None。
Python 中的生成器与传统函数有何不同?
与使用 return 来返回最终值的普通函数不同,生成器使用 yield 来逐个返回结果序列,同时保持其内部状态。
DAX UDF 在 Power BI 中有哪些优势?
它们允许将可重用的逻辑打包到模型中,避免在多个度量中重复公式,并有助于集中维护计算规则。
能否通过 SQL Server 函数修改数据库表?
不,SQL Server 函数不允许产生副作用,这意味着它们不能对表或目录等外部资源进行永久性更改。
什么是 lambda 函数?
这是一个匿名且简洁的函数,用一行定义即可执行快速操作,无需使用 def 为其指定正式名称。