溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

使用python怎么批量導入數據進Elasticsearch

發布時間:2021-06-16 15:24:22 來源:億速云 閱讀:387 作者:Leah 欄目:開發技術

使用python怎么批量導入數據進Elasticsearch,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。

先給代碼

#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
 line = line.strip().split(' ')
 action={
 "_index":"image",
 "_type":"imagetable",
 "_id":i,
 "_source":{
  u"圖片名":line[0].decode('utf8'),
  u"來源":line[1].decode('utf8'),
  u"權威性":line[2].decode('utf8'),
  u"大小":line[3].decode('utf8'),
  u"質量":line[4].decode('utf8'),
  u"類別":line[5].decode('utf8'),
  u"型號":line[6].decode('utf8'),
  u"國別":line[7].decode('utf8'),
  u"采集人":line[8].decode('utf8'),
  u"所屬部門":line[9].decode('utf8'),
  u"關鍵詞":line[10].decode('utf8'),
  u"訪問權限":line[11].decode('utf8') 
  }
 }
 i+=1
 actions.append(action)
 if(len(actions)==500):
 helpers.bulk(es, actions)
 del actions[0:len(actions)]
if (len(actions) > 0):
 helpers.bulk(es, actions)

每句話的含義還是很明顯的,這里需要說幾點,首先是index.txt是以utf8編碼的,所以需要decode('utf8')轉換成unicode對象,并且“圖片名”前需要加u,否則ES會報錯

導入的速度還是很快的,2000多條記錄每秒。

看完上述內容,你們掌握使用python怎么批量導入數據進Elasticsearch的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女