Hive on Spark只使用特定版本的spark进行测试,因此给定版本的Hive只保证与特定版本的Sspark一起工作。
SPARK的其他版本也可能与给定版本的hive一起工作,但这不能保证。下面列出了hive版本和它们对应的兼容hive版本。
Hive Version | Spark Version |
---|---|
master | 2.3.0 |
3.0.x | 2.3.0 |
2.3.x | 2.0.0 |
2.2.x | 1.6.0 |
2.1.x | 1.6.0 |
2.0.x | 1.5.0 |
1.2.x | 1.3.1 |
1.1.x | 1.2.0 |
hive on spark 官方文档:https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started