大数据开发工程师-第一周 第一章


第一周-第一章

群里问答

1
2
即系查询框架哪个用的多?
impala,Elasticsearch、Druid、Presto、ClickHouse等都可以
1
2
你们写好的SparkStreaming测试是怎么测试?在本地测试还是扔到Yarn测试?
一般是在测试环境里面测
1
2
先IDEA 本地跑一下自测,然后放到测试环境的HDFS上 让yarn调度一下么?
是的,在本地验证代码的正确性,在测试集群中验证代码业务流程层面的正确性
1
2
3
4
对实时计算所涉及的事务、容错性、可靠性有深入的理解

这种问题,面试的时候 一般怎么回答?
分析下一下实时计算中的几种语义级别,能讲清楚就差不多了
1
2
3
实时计算事务也应该是弱事务吧
是的,大数据的高性能和事务其实是有点矛盾的
事务很少问,容错性会问到,这个课程里面有讲到,就是那几种语义级别,至少一次,仅一次等

群里配置问答

flume

sWu1zQ.jpg

解决:没有配置flume的日志,缺少log4j的配置,在flume的conf目录下

虚拟机网络问题

为什么我这样配置ping不通外网 本机也Ping不了?

sWuXY8.jpg
sWuOFf.md.jpg
sWuqTP.md.jpg
sWujfS.md.jpg

解决:虚拟机防火墙需要关闭,虚拟机网卡为nat模式,配置后要重启

sWY4EQ.jpg

vmnet8

我虚拟机和主机不在同一个网段 可能就靠这个vmnet8来做nat网络地址转换

解答:vmnet8是你的一块网卡,让你的虚拟机和你的物理机处于同一个网络,这样你的物理机和虚拟机可以互联互通,而你的虚拟机访问外网,就通过nat映射,使用你的物理机ip对外访问,NAT对应的还有PAT技术

虚拟机ping得通本机,本机ping不通虚拟机

主要看vmnet8,简单的方式是让它自动获取ip。也可以根据虚拟机ip,掩码,默认网关来配置ip


本文标题:大数据开发工程师-第一周 第一章

文章作者:TTYONG

发布时间:2021年01月20日 - 13:01

最后更新:2022年02月20日 - 12:02

原始链接:http://tianyong.fun/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%BC%80%E5%8F%91%E5%B7%A5%E7%A8%8B%E5%B8%88-%E7%AC%AC%E4%B8%80%E5%91%A8%20%E7%AC%AC1%E7%AB%A0.html

许可协议: 转载请保留原文链接及作者。

多少都是爱
0%