在利用python进行mysql自动建表的时候，我们获取了数十万、数百万数据量的panda.datafram、list，我们需要获取某列的数据类型、数据长度。这个时候，就需要发现最多的数据类型和最大的数据长度。
该资源包含了优化后的遍历代码，数w数据量的发现速率控制在0.2s左右。
2022-03-10 22:25:08
2KB
1
主要介绍了Python3.5 Pandas模块之DataFrame用法,结合实例形式详细分析了Python3.5中Pandas模块的DataFrame结构创建、读取、过滤、获取等相关操作技巧与注意事项,需要的朋友可以参考下
2022-03-01 21:14:25
1001KB
1
摘要
数据分析与建模的时候大部分时间在数据准备上，包括对数据的加载、清理、转换以及重塑。pandas提供了一组高级的、灵活的、高效的核心函数，能够轻松的将数据规整化。这节主要对pandas合并数据集的merge函数进行详解。(用过SQL或其他关系型数据库的可能会对这个方法比较熟悉。)码字不易，喜欢请点赞！！！
1.merge函数的参数一览表
2.创建两个DataFrame
3.pd.merge()方法设置连接字段。
默认参数how是inner内连接，并且会按照相同的字段key进行合并，即等价于on=‘key'。
也可以显示的设置on=‘key’，这里也推荐这么做。
当两边合并字段不同
2022-02-25 18:46:20
290KB
1
Python 实现使用 dict 创建二维数据
dict 的 keys、values 分别作为二维数据的两列
In [16]: d = {1:'aa', 2:'bb', 3:'cc'}
In [17]: arr = list(d.items()) # 关键的一步
In [18]: narr = np.array(arr)
In [19]: narr
Out[19]:
array([['1', 'aa'],
['2', 'bb'],
['3', 'cc']],
dtype='<U11')
Python 实现使用 dict 创建DataFrame对象
dict 的 keys、val
2022-02-18 00:05:12
29KB
1
1.单列运算
在Pandas中，DataFrame的一列就是一个Series, 可以通过map来对一列进行操作：
df['col2'] = df['col1'].map(lambda x: x**2)
其中lambda函数中的x代表当前元素。可以使用另外的函数来代替lambda函数，例如：
define square(x):
return (x ** 2)
df['col2'] = df['col1'].map(square)
2.多列运算
apply()会将待处理的对象拆分成多个片段，然后对各片段调用传入的函数，最后尝试将各片段组合到一起。
要对DataFrame的多个列同时进
2022-01-13 16:37:49
43KB
1
数据类型转换：
今天遇到一个问题，就是DataFrame类型的数据里是str型的数字，想把数字转换为int 或float；百度没有发现好的，也可能输入的关键字不对，找不到；
DataFrame.info()之后发现数据全是object
之前有一个方法就是：
先traindata=np.array(traindata,dtype=np.float)之后在
traindata=pd.DataFrame(traindata)转换
但看着很繁琐，突发奇想，试到了下面的方法，一句就搞定得意得意
traindata=pd.DataFrame(traindata,dtype=np.float)；里面的fl
2022-01-05 01:08:07
48KB
1
起初的数据是这样的
想将page_no这一列拆分成多个列，然后将其中的值都作为列名。
想要做成的结果如下图（也就是统计每个id下各个page_no出现的次数）
实现的思路是先对page_no这一列进行one-hot编码，将一列变为多列，然后再用cishu列与之相乘，最后进行groupby之后加和，就得到了最终结果。
代码如下：
df = pd.get_dummies(TestA_beh[‘page_no’])
TestA_beh = pd.concat([TestA_beh,df],axis=1)
col_page = [‘AAO’, ‘BWA’, ‘BWE’, ‘CQA’, ‘CQB’,
2021-12-27 19:13:35
223KB
1