文章目录

• 一、提出问题
• 二、解决问题
• • （一）添加IP到主机名的映射
  • （二）在本地准备Spark库文件
  • （三）在IDEA里创建Scala项目
  • （四）添加Spark库文件到项目
  • （五）创建自定义分区器
  • （六）测试自定义分区器
• 三、打包上传，提交运行
• • （一）新建测试自定义分区器类
  • （二）利用IDEA将项目打成Jar包
  • （三）上传jar包到服务器
  • （四）提交到Spark集群运行
  • （五）查看生成的结果文件