Marshall的博客 | Marshall Blog

软件工程需求评审重点

需求评审重点价值、收益技术先进性场景推演可靠性、可扩展性、可维护性与外部系统交互怎么处理设计到历史逻辑、历史数据怎么处理时间如何分配？通用性强时间长侧重点不同新Feature侧重注重长远维护注重先进性、通用性历史功能迭代侧重推演逻辑兼容历史逻辑、历史数据

Posted by Marshall on October 27, 2022

（TiDB：TiKV）说存储

TiDB - Talk about store.

说存储（TiKV实现原理与如何解决存储相关问题）存储需要解决哪些问题？ (基础功能)不丢不错支持跨数据中心容灾写入速度是否快？数据保存下来，是否方便读？保存的数据如何修改？如何支持并发修改？如何原子地修改多条记录？ TiKV底层为巨大的K-V结构，key和value都是二进制数组，key按照byte数组原始二进制比特位比较排序即Key有序链...

Posted by Marshall on April 12, 2021

有状态算子和Applications（Stream Processing with Apache Flink-7）

Stateful Operators and Applications

有状态算子和Applications

Posted by Marshall on April 8, 2021

基于时间的Window算子（Stream Processing with Apache Flink-6）

Time-based and Window Operator

基于时间的Window算子

Posted by Marshall on April 8, 2021

Apache Flink架构（Stream Processing with Apache Flink-3）

Architecture of Flink

流式计算Flink 架构

Posted by Marshall on March 2, 2021

流式处理基石-流式编程（Stream Processing with Apache Flink-2）

Dataflow Programming

流式编程

Posted by Marshall on March 1, 2021

数据处理历史（Stream Processing with Apache Flink-1）

A bit of history

数据处理历史

Posted by Marshall on March 1, 2021

ververica-platform社区版搭建

ververica-platform community version installation note

ververica-platform社区版搭建流程 ververica-platform flink母公司开发的sql计算平台（又名VVP），本文针对社区版本官方文档官方文档比较详细，但是实践起来发现与最新版本的操作流程并不是完全一致。并且期间遇到不少问题，特此记录下。所需组件 git docker minikube kubectl helm...

Posted by Marshall on February 26, 2021

实时计算平台规划

Plan of realtime calculate platform

Name plz? Acorn or Chestnut or ? 实时计算平台规划 v0.1 支持rest api提交sql任务支持通过gauss开发节点提交SQL，执行流式ETL 支持后台sql校验表是否存在支持checkpoint自动配置，开关式支持选择提交模式（standalone yarn-per-job）支持自定义任务配置（资源、并发...