spark sql 如何分区控制最后输出文件数量

2025-03-20 13:04:22
推荐回答(1个)
回答1:

sparksql如何分区控制最后输出文件数量因为Spark内部写文件方式其实调用的都是Hadoop的函数,所以我们也可以通过Spark实现多文件输出。Spark内部没有多文件输出的函数供大家直接调用,我们自己实现这个功能也是很简单的。我们可以通过调用saveAsHadoopFile函数并自定义一个OutputFormat类即可