anaconda中pyspark,pyspark中的Pandas DataFrame进行配置

蔚落 2022-08-30 11:16 227阅读 0赞

![Image 1][]

How to send a pandas dataframe to a hive table?

I know if I have a spark dataframe, I can register it to a temporary table using

df.registerTempTable("table\_name")

sqlContext.sql("create table table\_name2 as select \* from table\_name")

but when I try to use the pandas dataFrame to registerTempTable, I get the below error:

AttributeError: 'DataFrame' object has no attribute 'registerTempTable'

Is there a way for me to use a pandas dataFrame to register a temp table or convert it to a spark dataFrame and then use it register a temp table so that I can send it back to hive.

解决方案

I guess you are trying to use pandas df instead of Spark's DF.

Pandas DataFrame has no such method as registerTempTable.

you may try to create Spark DF from pandas DF.

UPDATE:

I've tested it under Cloudera (with installed Anaconda parcel, which includes Pandas module).

Make sure that you have set PYSPARK\_PYTHON to your anaconda python installation (or another one containing Pandas module) on all your Spark workers (usually in: spark-conf/spark-env.sh)

Here is result of my test:

>>> import pandas as pd

>>> import numpy as np

>>> df = pd.DataFrame(np.random.randint(0,100,size=(10, 3)), columns=list('ABC'))

>>> sdf = sqlContext.createDataFrame(df)

>>> sdf.show()

\+---+---+---+

| A| B| C|

\+---+---+---+

| 98| 33| 75|

| 91| 57| 80|

| 20| 87| 85|

| 20| 61| 37|

| 96| 64| 60|

| 79| 45| 82|

| 82| 16| 22|

| 77| 34| 65|

| 74| 18| 17|

| 71| 57| 60|

\+---+---+---+

>>> sdf.printSchema()

root

|-- A: long (nullable = true)

|-- B: long (nullable = true)

|-- C: long (nullable = true)

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，227人围观）

还没有评论，来说两句吧...

相关阅读

相关如何在 Pandas 中遍历 DataFrame 中的行

问：我有一个熊猫数据框，df： c1 c2 0 10 100 1 11 110 2 12 120 如何迭代此数据框的

╰+攻爆jí腚メ/ 2024年03月30日 10:26/ 0 赞/ 84 阅读

相关 pandas中的几种合并DataFrame的方法

我们知道，在使用pandas处理数据的时候，往往会需要合并两个或者多个DataFrame的操作，那么我们该如何选择合适的方法进行这类的操作呢？接下来就讲一下每一种方法的运用。

忘是亡心i/ 2023年06月19日 09:41/ 0 赞/ 43 阅读

相关 Pandas 处理DataFrame中的inf值

在用DataFrame计算变化率时，例如(今天-昨天) / 昨天恰好为(2-0) / 0时，这些结果数据会变为inf。为了方便后续处理，可以利用numpy，将这些inf值进

Myth丶恋晨/ 2023年06月14日 04:27/ 0 赞/ 36 阅读

相关 Pandas DataFrame中的tuple元素遍历

在用Word2vec计算出词语的相似度之后，得到的DataFrame格式如下： 1. 索引（index）为输入的关键词，从第0列开始为相似度最高的词语和它的余弦相似度。

灰太狼/ 2023年05月31日 02:49/ 0 赞/ 34 阅读

相关 Python中的Pandas DataFrame

Python | 熊猫数据框 (Python | Pandas DataFrame) A DataFrame is a two-dimensional size-muta

╰+攻爆jí腚メ/ 2023年03月05日 09:58/ 0 赞/ 23 阅读

相关 Spark中DataFrame与Pandas中DataFrame相互转换

Spark中DataFrame前面已经给大家介绍过了，以及RDD、DataSet、DataFrame之间相互转换，而PySpark可以说是Spark和python的结合体，Py

╰+哭是因爲堅強的太久メ/ 2022年12月08日 04:20/ 0 赞/ 695 阅读

相关 Pandas中的实用dataframe操作汇总(持续更新中)

参考链接：[pandas中DataFrame操作(一)][pandas_DataFrame] 文章目录切片选择 loc

绝地灬酷狼/ 2022年09月06日 00:14/ 0 赞/ 559 阅读

相关 anaconda中pyspark,pyspark中的Pandas DataFrame进行配置

![Image 1][] How to send a pandas dataframe to a hive table? I know if I have a spark

蔚落/ 2022年08月30日 11:16/ 0 赞/ 228 阅读

相关 pandas——DataFrame

Series 一维数据，带标签的数组 DataFrame 二维数据，Series容器 DataFrame import pandas as pd

阳光穿透心脏的1/2处/ 2021年11月27日 05:04/ 0 赞/ 430 阅读

相关 pandas对DataFrame中多列数据的操作

以同时处理两列数据为例，将两列中的数据相加，生成另外一列： import pandas as pd df = pd.DataFrame({'a':

短命女/ 2021年11月10日 07:42/ 0 赞/ 580 阅读