TopsLee




技术

如何使用RedisTemplate访问Redis数据结构 MySQL重要知识点 OAuth2认证授授权流程 分布式锁 服务调用 MQ的介绍 SpringCloud 使用链 Eureka 的点对点通信 介绍Eureka RabbitMQ与其它MQ的对比 Springboot 启动过程分析 Springboot 入门 Linux内存管理 自定义CNI IPAM 扩展Kubernetes 副本一致性 spring redis 源码分析 kafka实践 spring kafka 源码分析 Linux进程调度 让kafka支持优先级队列 Codis源码分析 Redis源码分析 C语言学习 《趣谈Linux操作系统》笔记 Kubernetes安全机制 jvm crash分析 Prometheus 学习 Kubernetes监控 Kubernetes 控制器模型 容器日志采集 容器狂占cpu怎么办？ 容器狂打日志怎么办？ Kubernetes资源调度-scheduler 时序性数据库介绍及对比 influxdb入门 maven的基本概念 《Apache Kafka源码分析》——server Kubernetes objects之编排对象 源码分析体会 自动化mock AIOps说的啥 从DevOps中挖掘docker的价值 《数据结构与算法之美》——算法新解 Kubernetes源码分析——controller mananger Kubernetes源码分析——apiserver Kubernetes源码分析——kubelet Kubernetes整体结构 ansible学习 Kubernetes源码分析——从kubectl开始 jib源码分析之Step实现 kubernetes实践 线程排队 jib源码分析之细节 从一个签名框架看待机制和策略 跨主机容器通信 jib源码分析及应用 docker环境下的持续构建 docker环境下的持续发布 一个容器多个进程 kubernetes yaml配置 marathon-client 源码分析 《持续交付36讲》笔记 程序猿应该知道的 mybatis学习 无锁数据结构和算法 《Container-Networking-Docker-Kubernetes》笔记 活用linux 命令 为什么很多业务程序猿觉得数据结构和算法没用？ 串一串一致性协议 当我在说PaaS时，我在说什么 《数据结构与算法之美》——数据结构笔记 swagger PouchContainer技术分享体会 harbor学习 用groovy 来动态化你的代码 《深入剖析kubernetes》笔记 精简代码的利器——lombok 学习 java 语言的动态性 rxjava3——背压 rxjava2——线程切换 spring cloud 初识 JVM4——《深入拆解java 虚拟机》笔记 《how tomcat works》笔记 commons-pipeline 源码分析 hystrix 学习 rxjava1——概念 Redis 学习 TIDB 学习 分布式计算系统的那些套路 Storm 学习 AQS3——论文学习 Unsafe Spark Stream 学习 linux 文件系统 mysql 批量操作优化 《自己动手写docker》笔记 java8 实践 中本聪比特币白皮书 细读 区块链泛谈 比特币 大杂烩 总纲——如何学习分布式系统 forkjoin 泛谈 hbase 泛谈 看不见摸不着的cdn是啥 《jdk8 in action》笔记 程序猿视角看网络 calico 问题排查 bgp初识 mesos 的一些tips mesos 集成 calico calico AQS2——粗略的代码分析 我们能用反射做什么 web 跨域问题 《clean code》笔记 compensable-transaction 源码分析 硬件对软件设计的影响 elasticsearch 初步认识 mockito简介及源码分析 线上用docker要解决的问题 《Apache Kafka源码分析》——Producer与Consumer 停止容器 dns隐藏的一个坑 《mysql技术内幕》笔记2 《mysql技术内幕》笔记1 log4j学习 为什么netty比较难懂？ 回溯法 apollo client源码分析及看待面向对象设计 java系并发模型的发展 从一个marathon的问题开始的 docker 环境（主要运行java项目）常见问题 Scala的一些梗 OpenTSDB 入门 spring事务小结 事务一致性 javascript应用在哪里 netty中的future和promise 《netty in action》读书笔记 netty对http2协议的解析 ssl证书是什么东西 一些tricky的code http那些事 苹果APNs推送框架pushy apple 推送那些事儿 编写java框架的几大利器 JVM3——java内存模型 java concurrent 工具类 java exception java io涉及到的一些linux知识 network channel network byte buffer 测试环境docker化实践 通用transport层框架pigeon netty（七）netty在框架中的使用套路 Nginx简单使用 《Linux内核设计的艺术》小结 从Go并发编程模型想到的 mesos深入 Macvlan Linux网络源代码学习2 《docker源码分析》小结 对web系统的一些理解 docker中涉及到的一些linux知识 hystrix学习 Linux网络源代码学习 Docker网络五,docker网络的回顾 zookeeper三重奏 数据库的一些知识 Spark 泛谈 commons-chain netty（六）netty回顾 Thrift基本原理与实践（三） Thrift基本原理与实践（二） Thrift基本原理与实践（一） Future 回调 Docker0.1.0源码分析 基于spring boot和Docker搭建微服务 通过Docker Plugin来扩展Docker Engine java gc Docker网络四,基于Centos搭建Docker跨主机网络 google guava的一些理解 Jedis源码分析 Redis概述 Docker回顾 深度学习是个什么鬼 Docker网络三,基于OVS实现Docker跨主机网络 Linux网络命令操作 JTA与TCC 换个角度看待设计模式 Scala初识 netty（四）netty对http协议的实现（废弃） netty（三）netty框架泛谈 向Hadoop学习NIO的使用 以新的角度看数据结构 AQS1——并发相关的硬件与内核支持 使用Ubuntu要做的一些环境准备 Docker网络二,libnetwork systemd 简介 那些有用的sql语句 异构数据库表在线同步 spring aop 实现原理简述——背景知识 quartz 源码分析 基于docker搭建测试环境(二) spring aop 实现原理简述 我们编程的那些潜意识 自己动手写spring（八） 支持AOP 自己动手写spring（七） 类结构设计调整 分析log日志 一次代码调试的过程 自己动手写spring（六） 支持FactoryBean 自己动手写spring（九） 总结 自己动手写spring（五） bean的生命周期管理 自己动手写spring（四） 整合xml与注解方式 自己动手写spring（三） 支持注解方式 自己动手写spring（二） 创建一个bean工厂 自己动手写spring（一） 使用digester varnish 简单使用 docker volume 关于docker image的那点事儿 基于docker搭建测试环境 分布式配置系统 JVM2——JVM和传统OS对比 git spring rmi和thrift maven/ant/gradle使用 再看tcp mesos简介 缓存系统——具体组件 缓存系统 java nio的多线程扩展 多线程设计模式/《Concurrency Models》笔记 回头看Spring IOC IntelliJ IDEA使用 Java泛型 vagrant 使用 Go 常用的一些库 Netty（一）初步了解 java mina Golang开发环境搭建（Windows下） java nio入门 ibatis自动生成类和文件 Python初学 Goroutine 调度模型猜想 一些编程相关的名词 虚拟网络 《程序员的自我修养》小结 VPN(Virtual Private Network) Hadoop安装与调试 Kubernetes持久化存储 Kubernetes 其它特性 访问Kubernetes上的服务 Kubernetes副本管理 Kubernetes pod 组件 使用etcd + confd + nginx做动态负载均衡 nginx安装与简单使用 在CoreOS集群上搭建Kubernetes 如何通过fleet unit files 来构建灵活的服务 CoreOS 安装 定制自己的boot2docker.iso CoreOS 使用 Go初学 JVM1——jvm小结 硬币和扑克牌问题 LRU实现 virtualbox 使用 os->c->java 多线程 容器类概述 zabbix 使用 zabbix 安装 Linux中的一些点 关于集群监控 ThreadLocal小结 我对Hadoop的认识 haproxy安装 docker快速入门

标签

Docker 30

WEB 10

Data 21

Java 53

Linux 14

Tool 9

Algorithm 9

Go 6

CoreOS 4

Kubernetes 20

Other 13

Network 19

Python 1

Netty 16

Spring 19

Mesos 6

Distribute 8

Scala 6

Basic 2

Life 7

Ops 4

MQ 2

eureka 2

Apollo 2

OAuth2 1

MySql 1


ssl证书是什么东西

2017年06月11日

简介

Java 和 HTTP 的那些事（四） HTTPS 和 证书

计算机安全相关汇总

对称加密的问题

  1. 密钥如何传输？
  2. 密钥如何存储？对于浏览器的网页来说，都是明文的。

当然，两个问题其实是一个问题，解决了密钥传输问题，就可以在建立连接之后获取密钥，只存在内存中。

2018.04.18 新增

从中可以看到，有一条线：

  1. 加密由加密算法 + 密钥组成，加密算法公开，于是密钥分发成了关键
  2. 密钥的定向分发顺带解决了身份认证问题，为提高公钥分发的安全性又引入数字证书问题。
  3. CA的公钥如何安全的在网络上传输呢？给CA 也颁发证书，然后大家都无条件信任root CA，在操作系统、浏览器发布的时候便嵌入了root CA。

可以试想，若是加密算法私有，自然就没有密钥分发及之后的问题，代之就只加密算法本身的安全问题。

SSL/TLS 四次握手

加密

总结一下https设计到的一些加密知识

  1. 哈希，将任意长度的数据转化为固定长度的，验证数据是否被篡改
  2. 对称加密，加密和解密使用同一个密钥，对称加密的优点是速度快，缺点是密钥管理不方便，必须共享密钥
  3. 非对称加密，缺点是速度慢，优点是双方无需共享同一个密钥，密钥管理很方便
  4. 数字证书，提供可信的服务商公钥

安全的通信有以下要求

  1. 通信双方可信：是自己人；发了不能抵赖。
  2. 内容不被篡改
  3. 内容不可见

证书

数字证书原理

逻辑链条：

先假设服务商是可信的

  1. 通信要加密，但对称加密密钥不易分发，也不能每次都一样
  2. 客户端持有服务端的公钥，可以每次非对称加密通信，但服务商的公钥谁都可以得到，服务商给我发的消息，别人虽然不能改，但也可以截获并解密。
  3. 先使用非对称加密 约定一个对称密钥，再用对称加密交流

如果服务商是不可信的，问题就变成了：如何拿到服务商的可信的公钥？/ 服务商如何证明自己是可信的？ ==> 双方找一个都承认的第三方

  1. 客户端不能直接找服务商要，因为数据可能过黑客的手
  2. 本地存有ca的公钥（绝对可信，因为证书是事先浏览器、操作系统或手动添加的），服务商 拿出 ca 开的证明。这个ca的证明，就是为了提供可信的服务商公钥。
  3. 浏览器会尝试查CRL(证书吊销列表)和OCSP(在线证书检查)，后者是前者的替代，即直接询问ca证书是否可信及在有效期内。但ca都在国外，因为证书不可篡改，所以谁给都一样(这一步待确认)

就好比谍报战里的接头戏码

  1. 两个彼此认识的特工接头会轻松一点，双方可能会经常变换下接头方式
  2. 第一次跟新来的特工接头，上级会告诉你xx点去xx等一个手里拿着xx的人，接头暗号是“hello/world”。此次，双方都认识的上级是CA，“hello/world” 便是对方的CA证书。

  1. 证书有什么，Chrome可以通过”settings ==> advanced setting ==> https/ssl ==> 管理证书” 查看证书内容。证书基本上是一个文本文件。

    • 服务商的公钥
    • 服务商的信息
    • 对上述信息算一个签名，用ca自己的私钥加密一下

  2. 我如何验证证书？我拥有ca的公钥，对证书上的信息做一个签名， 解密证书上的签名，比对。

    • 如果两个签名一样，签名一样，说明证书没被篡改
    • 签名可以用ca公钥正确解密，说明是用ca私钥加密的，即证书是ca颁发的

    结论，证书是可信的，那么证书上的内容，尤其是服务商的公钥是可信的。

  私钥 公钥
ca   一般浏览器安装时就有，存在ca根证书中
服务商   浏览器验证服务商证书有效后，从服务商证书中拿到服务商公钥

证书的存储

浏览器保存了一个常用的 CA 证书列表，与此类似的，操作系统也一样保存有一份可信的证书列表。Java 在 JRE 的安装目录下也保存了一份默认可信的证书列表，可以使用 JRE 自带的 keytool 工具.

/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home/jre/lib/security
---	cacerts

证书的格式

CA 在发布证书时，常常使用 PEM 格式，这种格式的好处是纯文本，内容是 BASE64 编码的，另外还有比较常用的二进制 DER 格式，在 Windows 平台上较常使用的 PKCS#12 格式等等。当然，不同格式的证书之间是可以相互转换的。

在 Java 平台下，证书常常被存储在 KeyStore 文件中，上面说的 cacerts 文件就是一个 KeyStore 文件（KeyStore 只是一种文件格式，java中使用keyStore文件存储加密相关的数据，证书是其中一种）。存储在 KeyStore 文件中的对象有三种类型：Certificate、PrivateKey 和 SecretKey 。Certificate 就是证书，PrivateKey 是非对称加密中的私钥，SecretKey 用于对称加密，是对称加密中的密钥。

KeyStore 文件根据用途，也有很多种不同的格式：JKS、JCEKS、PKCS12、DKS 等等。

java中的keyStore文件根据用途，分为两类：keyStore、TrustStore，对应两个类 KeyManager 和 TrustManager。前者负责管理自己的私钥等数据，后者负责存储一些可信任的证书。可以想见，如果我们改写 TrustManager 类，让其无论何时都返回true，即可绕过对证书的验证。

动态加载证书

大多数时候，本地只要有常用的ca根证书，即可验证大部分服务商。证书被验证可信后，浏览器或操作系统会将证书存储在本地（证书有效期内），当用户在浏览器中键入https地址时，直接开始同服务端商定对称算法和密钥，从而省去证书的获取和验证过程。

但是，当服务商证书不在Java 的 cacerts 文件中，或者无法通过ca证书链式推导，我们也可以手动添加。

  1. 12306之类的网站，证书基本可信，但不是向ca申请的
  2. 内部通信，证书自己生成，自己确认可信

添加方式

  1. 使用java keytool工具添加。有时候不具备权限，或要添加的机器过多
  2. 程序加载

这就是一些应用在使用时，要指定证书地址的缘故了。

  1. 应用作为服务端，client索要证书时，提供给client
  2. 应用作为客户端，直接加载服务端证书，以省去证书验证过程

制作证书

TLS/HTTPS 证书生成与验证

基于OpenSSL自建CA和颁发SSL证书

假设自己的nginx 对外提供https支持

  1. 自建ca 或第三方ca 机构
  2. 在nginx 机器上 创建一对儿rsa密钥（key文件）；生成证书请求（csr文件）
  3. 将csr文件发送到ca服务器（第三方ca机构），得到nginx crt证书（crt或pem后缀）
  4. 访问nginx 的客户端持有ca 根crt证书，持有或获取 nginx 的crt 证书，即可与nginx 进行https通讯。

etcd 3.1 高可用集群搭建 具体描述了上述过程

  1. 创建ca-config.json,ca-csr.json，使用cfssl（CFSSL is CloudFlare’s PKI/TLS swiss army knife，tls/pki 工具集）cfssl gencert -initca ca-csr.json | cfssljson -bare ca 生成ca.csr,ca-key.pem,ca.pem,ca.csr 一般用不上，ca-key.pem 表示ca的公钥信息(整个系统安全的关键，重点保护对象)， ca.pem 表示根证书。
  2. 创建etcd-csr.json, 使用cfssl 根据根证书 创建etcd crt证书cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=frognew etcd-csr.json | cfssljson -bare etcd，得到etcd.csr etcd-key.pem etcd.pem

  3. etcdctl 访问 etcd时，需要ETCDCTL_API=3 etcdctl --endpoints=https://192.168.56.101:2379 --cacert=/etc/etcd/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem member list

    1. etcd api 分为2和3，不同level的api 参数名不同
    2. etcdctl 请求时指定了 ca.pem、etcd.pem、etcd-key.pem，目的就是根据根证书ca.pem 验证etcd 证书etcd.pem和etcd 公钥etcd-key.pem的合法性
    3. 以上条件具备后，--endpoints=https://192.168.56.101:2379 表示etcdctl可以以https的方式进行通讯

ca和pki

所以呢，有一个PKI（Public Key Infrastructure）的概念，中文称作公钥基础设施。它提供公钥加密和数字签名服务的系统或平台，比如ca系统，浏览器和操作系统内置一些常用ca证书。通过协议和机制的约定，实现公钥的可信分发，进而建立起一个安全的网络环境。而数字证书最常见的格式是 X.509 ，所以这种公钥基础设施又称之为 PKIX 。

而在大公司内部，通常会建立私有的ca和pki体系。

安装过hadoop的同学都知道，有一个过程是，将所有slave节点的公钥交给master节点，这里slave节点类似于服务端，master节点类似于客户端。只是hadoop分发的是公钥，tls分发的是证书（分发证书也是为了分发公钥）。

小结

上文提到的都是单向非对称加密，对于安全性很高的场景（比如网银）， 不仅客户端要验证服务端的合法性，服务端也要验证每个访问的客户端的合法性，对于这种场景，往往给每个用户发一个U盘，里面装的就是客户端的公钥和私钥对，用于双向非对称加密。