一、背景：公司有一个需求，就是将txt中的数据加载到es中，之前没用过es，想着先在本地安装一个，然后再做测试。 二、安装docker desktop 打开docker的官网，下载苹果芯片的docker 网址：https://ww…

文章目录 1.挖掘背景及目标 2.数据探索 2.1 概括性分析描述性统计 2.2 计算各个变量之间的皮尔森系数pearson/ kendall/ spearman 2.3 查看相似属性 2.4 绘制相关性热力图 3.数据预处理——数据规约 3.1 lasso回归模型 3.1 降维，lasso回归模型筛选特征 4.模…

背景：实际开发中遇到一个需求，就是需要将hive表中的数据同步到es集群中，之前没有做过，查看一些帖子，发现有一种方案挺不错的，记录一下。 我的电脑环境如下 软件名称版本Hadoop3.3.0hive3.1.3jdk1.8Elasti…

一、启动hive报错 [rootmaster sbin]# hive Hive Session ID 991ccabe-96b4-4fae-8b1c-ac2856ab182eLogging initialized using configuration in jar:file:/root/soft/hive/apache-hive-3.1.3-bin/lib/hive-common-3.1.3.jar!/hive-log4j2.properties Async: true Exception…

1.数据清洗 把微博评论的表情，符号之类的全去掉，但是不能去掉广告，只能去掉一些连在一起的重复短语，用最简单的方法，广告那些才是最烦的，现在我还没有找到好方法可以去掉，倒是老师一直说数据清…

数据分组 数据分组就是根据一个或多个键（可以是函数、数组或df列名）将数据分成若干组，然后对分组后的数据分别进行汇总计算，并将汇总计算后的结果进行合并，被用作汇总计算的函数称为聚合函数。数据分组的具体分组流程如下图所示 在Python中对数据分组利用的是**groupby()…

目录 5 问题二建模与求解 5.1 问题分析 5.2 模型建立 5.2.1LSTM 模型 5.2.2ARIMA 模型 5.3 模型求解 5.3.1 数据准备 5.3.2 特征提取 5.3.3 模型训练 5.4 问题二模型评价 6 问题三建模与求解 6.1 第一问问题分析 6.2 第一问复杂网络模型建立 6.3 第一问复杂网络模型求解 6.4 第…

背景： 项目地址： Gitee地址：https://gitee.com/hanabizzx/multi-channel-message-reach Github地址：https://github.com/Manzzx/multi-channel-message-reach/tree/master // An highlighted block var foo bar;一、docker下安…