发表于 | 分类于
字数统计: 1.5k | 阅读时长 ≈ 5
第一章 大数据概述大数据时代三次信息化浪潮1根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革 123第一次 1980前后 个人计算机 信息处理第二次 1995前后 互联网 信息传输第三次 2010前后 物联网、大数据、云计算 信息爆炸 信息科技为大数据时代提供技术支撑123存储成本降低cpu计算速度提升网络带宽不断提升 信息产生方式的变革促成大数据时代的来临1运营式系统阶段(数据库管理数据)=》用户原创内容阶段=》感知式系统阶段 大数据的发展历程 大数据概念Volume大量化1234567891byte=8bi ...
阅读全文 »

发表于 | 分类于
字数统计: 1.4k | 阅读时长 ≈ 5
找工作遇到的常识问题大数据OLAP12online analytical processing操作主体一般是运营、销售、市场等团队人员(通过对数据库数据得出结论性的东西) OLTP12online transaction processing操作主体一般是用户(主要是对数据库数据的增删改查) 参考来源 ETL1extract transform load Flume12分布式的日志采集 聚集 传输系统 kafka12分布式的流处理平台 Flink123历史数据 批处理实时数据 流处理flink支持这两种的计算引擎 Hive1是建立在hadoop之上的数据仓库基础框架 ...
阅读全文 »

发表于 | 分类于
字数统计: 430 | 阅读时长 ≈ 2
枚举类型相关知识11.不能直接对枚举变量赋整数值，需要将整数强制性转换 定义枚举类型和声明枚举变量先定义枚举类型，在定义枚举变量12345678# include <stdio.h>int main(){enum Weekday{mon,tue,wed,thu,fri,sat,sun}; // 枚举元素(枚举常量)的值从0开始enum Weekday workday;workday=sun; //workday=6return 0;} 定义枚举类型的同时，声明枚举变量1234567# include <stdio.h& ...
阅读全文 »

发表于 | 分类于
字数统计: 469 | 阅读时长 ≈ 1
数据挖掘技术与应用-第九章 自然语言处理与NLTKNLTK模块与自然语言处理1自然语言处理(Natural Language Processing, NLP)就是用计算机来处理、理解以及运用人类语言，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科。 NLP的原因 这些算法通常是挖掘文本数据的模式，以便用户从中了解文本内所蕴含的信息。人工智能公司大量地使用自然语言处理技术和文本分析来推送相关结果。 NLP的应用 搜索引擎、情感分析、主题建模、词性标注、实体识别等。 常用的技术词条化词条化：即形态学分割。简单地说，词条化就是把单词分成单个语素，并识别词素的种类。 词干还原( ...
阅读全文 »

发表于
字数统计: 149 | 阅读时长 ≈ 1
大数据分析与内存计算-第一章 Spark简介与运行原理Spark是什么? Spark的特点迅速 通用 易用 支持多种资源管理器 Spark与Hadoop的区别与联系 Spark相对于Hadoop MapReduce的优势 误区 1231.计算都是基于内存，spark只是计算的中间结果缓存在内存2.任务量的不同也可能出现相反的速度3.Hadoop从设计之初就是基于可拓展的，他也可以采用别的计算引擎 Spark的用途 Spark的生态系统Spark的架构与原理Spark 2.x新特性
阅读全文 »

发表于 | 分类于
字数统计: 2k | 阅读时长 ≈ 7
数据挖掘与机器学习-第八章 图像数据分析图像数据概论1234根据图像的成像原理、成像技术以及存储方式可以将图像分为不同类型。根据记录方式不同图像可以分为模拟图像和数字图像。模拟图像是通过某种具有连续变化值的物理量(光、电强弱等)来记录图像亮度信息。数字图像是模拟图像数字化后得到的，又称为数码图像、数位图像。 1根据像素的取值不同，图像可以分为二值图像、8位图像、16位图像。 1RGB彩色图像由三个数据通道构成，分别代表红、绿、蓝通道。而灰色图像只有一个通道。多光谱图像一般有几个到几十个通道。高光谱图像具有几十个到上百个通道，即为多通道。 1图像不仅仅局限于人眼可以看到的可见光图像， ...
阅读全文 »
0%