如何使用python批量导入数据进Elasticsearch中-创新互联
本文小编为大家详细介绍“如何使用python批量导入数据进Elasticsearch中”,内容详细,步骤清晰,细节处理妥当,希望这篇“如何使用python批量导入数据进Elasticsearch中”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。
目前创新互联已为近1000家的企业提供了网站建设、域名、网页空间、绵阳服务器托管、企业网站设计、德兴网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。先给代码
#coding=utf-8 from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch import helpers es = Elasticsearch() actions = [] f=open('index.txt') i=1 for line in f: line = line.strip().split(' ') action={ "_index":"image", "_type":"imagetable", "_id":i, "_source":{ u"图片名":line[0].decode('utf8'), u"来源":line[1].decode('utf8'), u"权威性":line[2].decode('utf8'), u"大小":line[3].decode('utf8'), u"质量":line[4].decode('utf8'), u"类别":line[5].decode('utf8'), u"型号":line[6].decode('utf8'), u"国别":line[7].decode('utf8'), u"采集人":line[8].decode('utf8'), u"所属部门":line[9].decode('utf8'), u"关键词":line[10].decode('utf8'), u"访问权限":line[11].decode('utf8') } } i+=1 actions.append(action) if(len(actions)==500): helpers.bulk(es, actions) del actions[0:len(actions)] if (len(actions) > 0): helpers.bulk(es, actions)
每句话的含义还是很明显的,这里需要说几点,首先是index.txt是以utf8编码的,所以需要decode('utf8')转换成unicode对象,并且“图片名”前需要加u,否则ES会报错
导入的速度还是很快的,2000多条记录每秒。
读到这里,这篇“如何使用python批量导入数据进Elasticsearch中”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注创新互联-成都网站建设公司行业资讯频道。
标题名称:如何使用python批量导入数据进Elasticsearch中-创新互联
文章起源:http://ybzwz.com/article/cscodj.html