本次考试以最后一次为最终成绩
对业务数据了如指掌,能够明显的找出问题点,帮助解决数据倾斜问题
对作业或者数据计算没有强时间要求的作业,没有优化的必要
小文件合并会一定程度的缓解数据倾斜的问题
可以用Hive自身的mapper和reducer参数来优化Hive作业的执行效率,缓解数据倾斜的问题
在创建外部表的时候要加关键字 external内部表: 在HIVE中使用命令删除hive表时,hive所对应的hdfs的目录也会被删除;元数据库中的数据也被删除.
外部表: 在hive中删除了外部表,而外部表所对应的hdfs目录不会被删除;元数据库被删除