个人介绍

  • 出生: 1995.04
  • 住址: 杭州市滨江区
  • 电话: 13395753926
  • 邮箱: 984801940@qq.com

教育背景

时间 学校 专业
2014.09-2018.07 洛阳理工学院 计算机科学与技术

掌握技能

  1. 严格遵守Java开发规范，有良好的面向对象的业务分析能力，代码书写简洁，力求完美开发。
  2. 熟练掌握MySql，了解mysql的索引
  3. 精通使用kafka，kafka调优，spark,spark调优等大数据技术。
  4. 熟练使用 PostgreSQL, Redis等数据库和mybatis，mybatisPlus，jdbc等持久层开发技术.
  5. 熟练使用fastDFS，Cloudreve等文件存储服务技术。
  6. 熟练使用zookeeper , hadoop , hbase , Elasticsearch，Kerboros等技术工具进行开发。
  7. 熟练使用maven项目版本，打包和依赖管理工具
  8. 熟练使用linux操作系统，网络配置，shell脚本 (grep , sed , awk）
  9. 熟练使用docker镜像的分层，docker-compose和docker命令简单使用
  10. 熟练使用gitlab和gitlab_ci简单使用
  11. 熟悉docker,通过dockerfile 创建docker镜像,通过docker-compose进行docker编排
  12. 熟悉k8s（正在学习）
  13. 熟练使用netty, netty-websock
  14. 熟悉Nginx等web服务器。
  15. 用go语言写leetcode
  16. 会使用异地组网 (蒲公英,zerotier)
  17. 通过gitea 和 drone 完成自己私有代码的管理 和发布
  18. 博客地址 (见其它补充)

工作经历

杭州合韬科技有限公司

  • 职位: java开发工程师
  • 时间: 2018-03 ~~ 2021-5
  • 职责:
    • 负责公司项目数据接入，分析，入库；
    • Spark , Kafka , Zookeeper集群的维护；
    • Java依赖第三方包的版本进行管理；

浙江火眼金睛数据科技有限公司

  • 职位: 大数据开发工程师
  • 时间: 2021-5 ~~ 2021-8
  • 职责:
    • 负责数据接入和分析
  • 实际事情
    • 安装服务器 维护服务器

杭州钛鑫科技有限公司

  • 职位: java开发工程师(大数据方向)
  • 时间: 2021-10 ~~ 至今
  • 职责:
    • 负责Dlite平台 日常版本迭代；
    • Dilte平台的搭建；
    • 负责flinkx 二次开发

项目经历

Dlite平台（类似数据中心)

  • 项目时间:
    • 2021年10月-至今
  • 项目描述:
    • 本项目使用Hadoop作为大数据底座，使用Spark为离线计算引擎，使用flink作为实时计算引擎。使用pump（基于flinkx进行二次开发）作为数据同步或数据采集的主要工具，目前支持20+种数据源。使用Hive作为数据仓库，以mysql作为hive元数据存储库。该架构支持离线计算与实时计算两种场景，并提供了易使用的基于web进行数据开发的一体化开发环境。具有统一的任务运维中心、数据资产管理、数据源管理、数据安全、数据权限管理与系统监控等功能
  • 项目结构
    • 控制层：SpringMVC；
    • 业务层：Spring；
    • 持久层：hibernate，Druid连接池；
    • 数据层：MySQL，Redis,hdfs。
  • 负责模块:
    • 负责pump 开发和维护(抽取业务库 比如mysql,oracle,非业务mongodb)；
    • 利用form表单参数化配置 简化flinkx 启动配置；
    • 负责日常bug维护

公安预警系统(西湖指挥中心 六翮凌风)

  • 项目时间:
    • 2018年7月-2020年9月
  • 项目描述:
    • 通过netty,mq,定时任务同步数据库，汇聚到kafka里面，在通过spark 进行规则预警，实时预警推向kafka,数据统计，基础数据入库，redis数据相关性进行分发。(公安具体业务性属于保密信息无法展开)
  • 项目结构
    • 接入层：netty ,ftp,kafka；
    • 分析层：spark；
    • 数据层：MySQL,hbase, PostgreSQL,redis,hadoop。
    • 持久层：MyBatis,jdbc, hbaseUtil；
    • 业务层：Spring
    • 控制层：SpringMVC、Spring SecurityOauth2；
    • 展示层：vue,jsp
  • 负责模块:
    • 前端接入：netty接收tcp和udp的数据，转发ftp数据推向kafka，转发mq数据推向kafka；
    • s三台Kafa集群：kafka topic的基本维护，kafka集群的搭建与基本维护；
    • 15台spark集群：spark程序 分析3W/s左右数据量
    • 预警统计: 对设备的状态及数据量维护。

数据资源中心系统（类似百度网盘的功能)

  • 项目时间:
    • 2020年9月-2021年5月
  • 项目描述:
    • 每个系统都是有一个文件存储和管理的地方，为了解决文件存储 采用了hdfs的文件存储方式，搜索采用了Elasticsearch 进行搜索.
  • 项目结构
    • 控制层：SpringMVC、eureka；
    • 业务层：Spring、Spring Data Redis；
    • 持久层：MyBatisPlus持久层框架，Druid连接池；
    • 数据层：MySQL，Redis,hdfs, Elasticsearch。
  • 负责模块:
    • 文件上传功能；
    • 部分文件根据url进行预览的功能；
    • 根据文件内容，文件名，文件相关信息进行搜索；
    • 文件可以通过分享到其它用户进行访问

博客系统(地址见其它补充)

  • 项目时间:
    • 2020年9月-2021年5月
  • 项目描述:
    • 记录自己知道，自己不知道的，点滴成长。
  • 项目结构
    • vuepress + hugo
  • 负责模块:
    • 用vuepree,vue进行搭建项目或hugo，编写markdown记录笔记
    • Markdown编写工具typora,通过picgo自定义连接web（图床）图片管理
    • Gitlab进行代码管理，并通过cicd完成自动打包和部署
    • 通过路由器端口映射完成内网暴露端口到外面
    • 通过阿里dnsapi 完成 动态公网Ip与域名的绑定；其它补充

其它补充

  • 对接华为的 FusionInsight （kerbors，kafka，spark，hbase, MapReduce）

  • 对接星环 TDH（Transwarp Data Hub）平台 （zookeeper,kerbors，kafka，hdfs，search,slipstream）

  • 对接海康 AIcloud （ zookeeper、kafka、spark、hadoop、hbase ）

  • 个人使用情况：系统deepin，电脑双屏幕台式机，如果自己带有 路由器，NAS，台式机，双屏幕。

  • 博客地址：https://hugo.dongshanxia.top:35000/about%2Fdongshanxia%2F 和 https://dongshanxia.github.io/hugo/

自我评价

  • 乐观开朗，面对困难喜欢迎难而上，对技术难点有永不放弃的钻研精神；

  • 对互联网开发技术有高度的兴趣和敏感度，有较强的自主学习能力；

  • 善于与他人沟通，能协同作战，一起解决工作和生活中遇到的各种困难；

  • 严于代码，对工作积极严谨，能吃苦耐劳。

    网络拓扑

home-network

docker拓扑

graph TD A[Start] --> B[centos]; A[Start] --> C[debian]; C[debian] --> D[ssh]; D[ssh]-->E[git]; C-->F[jdk] F-->G[maven]; B-->H[nginx]; F-->I[nexus]; F-->J[zookeeper]; C-->K[node] K-->L[picgo]; M[drone-docker] N[drone-plugin-test] C-->O[certbot] K-->P[unblockneteasemusic] B-->Q[redis] B-->R[mysql] S[drone-convert-pathschanged] B-->T[pgsql] B-->U[mssql] C-->V[oracle-base] V-->W[oracle] C-->X[hugo]

drone 拓扑 (blog项目部署)

image-20230412102859247