测试一条实时数据管线,有点像给新修的传送带试运行:不能等真实订单、点击或日志来了才发现下游接不住,也不能每次都手写一套临时脚本造数据。Anystream 想解决的就是这个麻烦。它是一个 Go 写的命令行工具,作者把它做成单个二进制文件,用来生成合成流数据——也就是按规则造出来的假事件,模拟真实数据的结构、分布或异常情况。
这件事对数据工程师有用,原因在于流数据不是一批文件,而是一条条持续到来的事件;消息系统则像传送带,把这些事件送到下游处理程序。供稿中作者说,Anystream 可以连接主要消息系统,支持用户自定义分布,也能根据提供的 Parquet 文件生成数据。Parquet 是常见的列式数据文件格式,这里相当于给工具一个样板,让它照着既有结构吐出新的流数据。
它的价值不在“造假数据”本身,而在把几件常见小事合到一个轻工具里:连接消息系统、控制数据分布、按样例文件生成。作者也把边界说得很清楚:这是为测试管线和特定数据结构而做,目前只是达到“对自己有用”的状态,供稿未披露更详细的消息系统清单、性能数字或兼容性测试。