首页
归档
相册
随笔
专栏
实验室
Quick Reference
IT Tools
Regex Vis
Photopea
朋友圈
友情链接
更多
关于作者
另起一行(hang)
累计撰写
36
篇文章
累计创建
38
个标签
累计收到
1
条评论
栏目
首页
归档
相册
随笔
专栏
实验室
Quick Reference
IT Tools
Regex Vis
Photopea
朋友圈
友情链接
更多
关于作者
目 录
CONTENT
精品分类
全部分类
日常研究
数据工程
技术运维
新鲜领域
最新文章
2021-11-13
新坑尝鲜 | Hasura GraphQL 引擎
一、介绍 Hasura 是一个 Graph QL 的后端工具,熟悉 Graph QL 的应该都知道 Apollo Graph,不同之处是 Hasura 能将数据库的表映射成Graph QL,有丰富的权限/角色管理认证,Pro 版本还提供了监控模块。 二、权限认证模块 Hasura 的认证官方文档介绍
2021-11-13
72
0
0
技术运维
2021-10-16
数工总结 | Kafka 知识点
一、版本差异 kafka 0.8的新特性: 1.在0.8之前,当一个服务器出现问题的时候,没有不被消费的数据将丢失,0.8的分区提供了数据的复制和备份,确保至少有一份数据是可用的 2.以前,生产者的消息会阻塞,直到这个消息被复制到所有的副本中,但是生产者可以配置是否提交到单一的服务器。 3.kafk
2021-10-16
52
0
0
数据工程
2021-08-05
数工总结 | ElasticSearch 知识点
一、介绍 越来越多的公司使用ELK技术栈做为日志分析平台,ELK是三个工具的简称,即Logstash+ElasticSearch+Kibana, 其中以ElasticSearch(es)为核心(存储数据和查询数据),Logstash收集数据,Kibana进行数据展示,具体流程就是使用Logstash
2021-08-05
60
0
2
数据工程
2021-08-02
新坑尝鲜 | 使用 Swift 框架 Vapor 搭建 Web 网站
前言 今天在浏览网站的时候发现有一篇 Linux 的 Swift 语言简单入门。经历6个小时的网络搜索终于搞定。 随着 Swift 语言的开源,不再是 Apple 系列的专属语言了。我们可以将 Swift 的代码部署到 Linux 服务器,尽一步促进 Swift & Apple 生态的发展。 而几乎
2021-08-02
64
0
0
技术运维
2021-07-31
日常研究 | 使用容器搭建 Typecho
动机 最近在搜索内网穿透的时候,搜索到 zerotier 的时候发现有人推广免费主机(免费是不可能的),随搭建了 Emlog Pro,不管是 Hexo,还是 EmlogPro,然而不够高大上,果断入手 Typecho 的 Handsome 主题。 准备 首先你得有一台服务器,如果后续需要发布到外网那
2021-07-31
60
0
0
2019-07-11
日常研究 | 网站类目爬取技巧
网站类目爬取技巧 我们在爬取网站的时候,经常因为找不到类目入口需要人工整理类目元数据,再输入到爬虫程序里面,这边介绍的方法目前有两种,1. 获取 JS 对象里面的数据,2. 通过 url 分析,后续在补充 JS 对象里面包含的数据 以京东手机触屏版为例, 打开首页类目的页面 https://so.m
2019-07-11
54
0
0
2019-07-11
外部转载 | 大数据常见错误解决方案
错误锦集 1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法:add
2019-07-11
80
0
0
数据工程
2019-02-26
外部转载 | Linux 常用脚本
原地址找不了,作者可以联系我添加 这段脚本包含100多个bash函数,是我几年前方便自己调试和诊断问题写的。贴出来给有需要的人,因为比较懒怎么使用这些函数就不写说明了。其中以下划线开头的是表示私有函数,以 cf_开头的表示公共函数,可当做命令使用。 # check current os is lin
2019-02-26
44
0
0
技术运维
2019-01-30
新坑尝鲜 | 树莓派使用技巧
使用指南 初次安装树莓派可以准备一根网线,以便方便连接进入 ssh 树莓派的镜像版本默认是没有开启 ssh 的,若想开启,在boot 下创建ssh 文件夹即可 初次使用网线进行连接时,可以将树莓派设置成静态 ip,在cmdline.txt 文件里面加入ip=x.x.x.x 无线连接在boot下创建w
2019-01-30
70
0
0
2018-02-04
数工总结 | Spark 知识点
一、Shuffle Spark Shuffle的历史 1.1 以前 Hash Shuffle 1.1.x 添加 Sort Shuffle 1.5.x 添加 Unsafe Shuffle 1.6.x 合并 Unsafe Shuffle和Sort Shuffle 2.0.x 移除 Hash Shuffl
2018-02-04
44
0
0
数据工程
1
2
3
4