当前位置: 首页 > news >正文

028网站建设/百度关键词seo公司

028网站建设,百度关键词seo公司,小游戏大全网页版,网站建设正规公司背景:我们项目第一次部署图数据库,要求我们把现有的业务数据以及关系上线第一时间初始化到Neo4j中。开发环境数据量已经百万级别。生成环境数据量更多。 我刚开始开发的时候,由于对Neo4j的了解并没有很多,第一想到的是用代码通用组…

背景:我们项目第一次部署图数据库,要求我们把现有的业务数据以及关系上线第一时间初始化到Neo4j中。开发环境数据量已经百万级别。生成环境数据量更多。

我刚开始开发的时候,由于对Neo4j的了解并没有很多,第一想到的是用代码通用组装create语句进行创建节点以及关系。

业务说明:系统中有很多实体表,每个实体表中有自己的数据,不同实体有一张关系表进行维护。

我开发的思路是:1.先将所有的表中数据取出来做为节点 2.根据关系表将这个数据的关系查出来之后组装语句将数据添加到Neo4j中。

具体代码如下(Springboot项目版本2.2.5RELEASE):
pom.xml

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-neo4j</artifactId></dependency>

配置文件进行下面配置:

spring:data:neo4j:uri: bolt://localhost:7687username: neo4jpassword: neo4j

使用Java代码组装CQL语句,用原生session进行
Neo4jConfig.java

@Configuration
public class Neo4jConfig {@Value("${spring.data.neo4j.uri}")private String uri;@Value("${spring.data.neo4j.username}")private String userName;@Value("${spring.data.neo4j.password}")private String password;@Beanpublic org.neo4j.ogm.config.Configuration getConfiguration() {org.neo4j.ogm.config.Configuration configuration = new org.neo4j.ogm.config.Configuration.Builder().uri(uri).connectionPoolSize(100).credentials(userName, password).withBasePackages("com.troy.keeper.desc.repository").build();return configuration;}@Beanpublic SessionFactory sessionFactory() {return new SessionFactory(getConfiguration());}@Bean("neo4jTransaction")public Neo4jTransactionManager neo4jTransactionManager(SessionFactory sessionFactory) {return new Neo4jTransactionManager(sessionFactory);}

接口入口Controller.java

@GetMapping("initDataToNeo4j")public void initDataToNeo4j() {service.initDataToNeo4j();}

Service.java

//节点数据,按照自己的实际业务添加,我这里对应的是所有表的数据,因为我业务中所有表结果基本一样,也即节点属性都一样。每个表的数据一个map,key是表名作为节点的标签
Map<String, List<NodeData>> nodeDataMap;
//关系数据,将每一个表数据的关系作为RelationData实体
List<RelationData> relationDatas;//数据组装完成后,进行节点的创建
neo4jUtil.creatNode(nodeDataMap);//进行关系绑定
neo4jUtil.bindRelation(relationDatas);

NodeData.java

private String id;//属性id
private String name;//属性名称
private String table;//作为节点标签

RelationData.java

//关系id
private String id;
//关系名称
private String relationName;
//因为我这里的关系跨实体,所以需要指定结束标签
private String endLableName;//因为我这里的关系跨实体,所以需要指定开始标签
private String startLableName;//开始节点的值
private String startValue;//结束节点的值
private String endWhereValue;

Neo4jUtil.java

@Component
public class Neo4jUtil {
@Resource
private Session session;
/*** 删除标签下的节点(包括节点之间的关系)* @param lableName* @return*/public Integer deleteByLable(String lableName) {if (StringUtils.isEmpty(lableName)) {return 0;}String cypherSql = String.format("MATCH (r:`%s`) DETACH DELETE r ", lableName);Result query = session.query(cypherSql, new HashMap<>(16));session.clear();return query.queryStatistics().getNodesDeleted();}//创建节点
public  void creatNode(Map<String, List<NodeData>> nodeDataMap) {if (nodeDataMap == null) {return ;}for(String key:nodeDataMap.keySet()){List<NodeData> data= nodeDataMap.get(key);if (StringUtils.isEmpty(key)) {continue;}//表下没有数据的只创建一个没有属性的节点if (data== null || data.isEmpty()) {String sql =String.format("create (:`%s`)",key);session.query(sql, new HashMap<>(16));continue;}//因为是全量导入,可以先删除这个标签下的全部节点和关系,按照自己业务要求自行添加deleteByLable(key);for (NodeData nodeData:data) {//兼容中文和特殊符号String  labels = ":`" + String.join("`:`", key) + "`";;String id = nodeData.getId();String name = nodeData.getName();String property =  String.format("{id:'%s',name:'%s'} ",  id,name);String sql = String.format("create (%s%s)", labels, property);session.query(sql, new HashMap<>(16));}}}//绑定关系
public void bindRelation( List<RelationData> relations) {if (relations== null) {return;}for (RelationData relation:relations) {String id = relation.getId();String relationName = relation.getRelationName();String startLableName = relation.getStartLableName();String endLableName = relation.getEndLableName();String startValue = relation.getStartValue();String endValue = relation.getEndValue();String property =  String.format("{id:'%s',name:'%s'} ", id,relationName);String cypherSql =  String.format("MATCH (n:`%s`),(m:`%s`) where n.id ='%s' and m.id= '%s' CREATE (n)-[r:%s%s]->(m)",startLableName,endLableName,startValue ,endValue ,relationName,property) ;session.query(cypherSql, new HashMap<>(16));}}
}

之后执行controller接口,进行数据抽取和导入Neo4j,我开发的时候用的环境,大约有7w个节点,120w条关系。用本地Neo4j跑了两个多小时,连服务器部署的(跨地区)跑了8个小时。。。。

太慢了

后来查资料说是create适合数据量小的时候用,对于大量数据导入可以用neo4j-admin import ,接下来改造用neo4j-admin import ,参见Java初始化数据到Neo4j中(二)

http://www.whsansanxincailiao.cn/news/30245250.html

相关文章:

  • 泰州网站建设物美价廉/营销一体化平台
  • 昆明seo网站建设/搜索引擎优化seo方案
  • 济南网站设计公司排名/深圳搜索引擎优化推广便宜
  • 怎样把网站打包做百度小程序/站长统计app官方网站
  • 网站弄论坛形式怎么做/教你如何建立网站
  • 温州网站建设wmwl/微博推广有用吗
  • 高端建站模版/6个好用的bt种子搜索引擎
  • 云服务器可以做多个网站/泉州百度seo
  • 云南网站开发/百度网页版登录入口
  • 怎么注销自己做的网站/360优化大师官方官网
  • 小网站文案/营销型网站建设费用
  • 广西城乡建设部网站/韶关今日头条新闻
  • 百度没有收录我的网站/线下实体店如何推广引流
  • 沧州市网站制作/网站推广的四个阶段
  • wps做网站框架/网站推广和优化的原因
  • 有发展的小企业网站建设/b2b网站推广排名
  • 开源网站建设/设计网页
  • 求个网站好人一生平安/简单网页制作
  • 长沙做黄叶和网站的公司有哪些/针对大学生推广引流
  • 广告推广怎么赚钱/抖音seo怎么做
  • phpcms 后台修改修改网站备案号/网站建设推广
  • 贵阳网站建设搜q479185700/网站制作郑州
  • 分析对手网站/宁波网络推广方法
  • 快站淘客中转页/营销网络的建设
  • 一级a做爰片付费网站/磁力蜘蛛搜索引擎
  • 上海网站制作培训班/崇左seo
  • 潭州学院网站建设报名/seo营销推广服务公司
  • 福建交通建设网站/百度关键词代做排名
  • java做网站的流程/夫唯seo
  • 哈尔滨营销网站建设公司哪家好/百度搜索广告推广