单选题

在很多小文件场景下,Spark会起很多Task,当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响性能。FusionInsight中,针对小文件的场景通常采用算子,来对Table中的小文件生成的partition进行合并,减少partition数,从而避免在shuffle的时候,生成过多的hash分桶,提升性能()

A. group by
B. coalosce
C. connect
D. join

查看答案
该试题由用户443****51提供 查看答案人数:15190 如遇到问题请 联系客服
正确答案
该试题由用户443****51提供 查看答案人数:15191 如遇到问题请联系客服

相关试题

换一换
单选题
在很多小文件场景下,Spark会起很多Task,当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响性能。FusionInsight中,针对小文件的场景通常采用算子,来对Table中的小文件生成的partition进行合并,减少partition数,从而避免在shuffle的时候,生成过多的hash分桶,提升性能()
A.group by B.coalosce C.connect D.join
答案
单选题
SparkSQL表中,经常会存在很多小文件(大小远小于HDFS块大小),在这种情况下,Spark会启动更多的Task来处理这些小文件,当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,从而严重影响性能()
A.对 B.错
答案
单选题
Spark任务的container可以运行多个task()
A.对 B.错
答案
单选题
Spark任务的Excutor可以运行多个task()
A.对 B.错
答案
单选题
当处理的数据量很多,或向文件写很多次少量的数据,一般使用( )流。
A.FileOutput B.PipedOutput C.DataOutput D.BufferedOutput
答案
单选题
当很多人在场时,个体的利他行为会()
A.增加 B.减少 C.不变 D.不确定
答案
单选题
当你的电脑中有很多不同的文件时,你会怎么处理()
A.不处理就这么放着 B.分门别类进行整理 C.不清楚
答案
判断题
文件方式迁移,在网络稳定的情况下,若100个小文件和1个大文件占用的硬盘空间大小相同;那么该大文件的迁移速度将快于100个小文件()
答案
多选题
Spark的应用场景包括?()
A.数据处理(Data Processing) :可以用来快速处理数据. 兼具容错性和可扩展性。 B.查询分析(Query Analysis) :支持标准 SQL 查询分析. 同时提供 DSL(Data Frame) ,并支持多种外部输入。 C.流式处理(Streaming Processing) :支持秒级延迟的流式处理.可支持多种外部数据源。 D.数据挖掘(DataMining) :在海量数据基础上进行复杂的挖掘分析.可支持各种数据挖掘和机器学习算法
答案
主观题
Spark生态系统组件Spark Streaming的应用场景是?
答案
热门试题
Spark的应用场景有哪些?() SPark适用于以下哪些场景?() spark中driver在任务调度中不负责task执行结果的回收 消息列的使用场景有很多,以下描述错误的是() 文件的分类有很多标准,只读文件和读写文件属于( )分类. 下列关于合并小文件说法有误的是?() 下列关于合并小文件说法正确的是?() 恢复误删除文件的工具有很多,以下()不能在Windows9x下运行 “当医生吧!你有足够的天资,你会喜欢这个工作,你能帮助很多人。还有,你还可以赚很多钱”!这句话不属于论证。() 车牌的存水量为什么会很多? Spark应用运行时,如果某个task运行失败则导致整个app运行失败() 淘宝采用哪种存储方式存储其海量小文件() 关于ODPS中小文件的说法,正确的是() 海量小文件备份的普遍技术难点是哪个() HFS的出现解决了需要在HDFS中存储大量的小文件(10MB以下)。同时也要存储一些大文件(10MB以上)的混合的场景() 件的分类有很多标准,只读文件和读写文件属于()分类。 程序是为完成某项活动规定的途径,在很多情况下记录要形成文件。 程序是为完成某项活动规定的途径,在很多情况下记录要形成文件() hadoop和spark的都是并行计算,两者都是用mr模型来进行并行计算,hadoop的一个作业称为job,job里面分为maptask和reducetask,每个task都是在自己的进程中运行的,当task结束时,进程也会结束 他们俩在一起很多年了,我______。
购买搜题卡 会员须知 | 联系客服
会员须知 | 联系客服
关注公众号,回复验证码
享30次免费查看答案
微信扫码关注 立即领取
恭喜获得奖励,快去免费查看答案吧~
去查看答案
全站题库适用,可用于E考试网网站及系列App

    只用于搜题看答案,不支持试卷、题库练习 ,下载APP还可体验拍照搜题和语音搜索

    支付方式

     

     

     
    首次登录享
    免费查看答案20
    微信扫码登录 账号登录 短信登录
    使用微信扫一扫登录
    登录成功
    首次登录已为您完成账号注册,
    可在【个人中心】修改密码或在登录时选择忘记密码
    账号登录默认密码:手机号后六位