拿到一份很大的CSV,常见做法是先打开电子表格或编程环境,再检查列、缺失值和异常数据。xan想把这一步缩短:工程师在终端输入命令,就能处理表格,还能用普通文本字符画出柱形图、散点图等简图。图不精美,却适合在远程服务器或没有图形界面的环境里迅速查看分布和异常值。
据作者Yomguithereal介绍,xan用Rust编写,内置自己的SIMD CSV解析器——SIMD指处理器用一条指令同时处理多个数据元素,可加快批量扫描字符。它还通过多线程处理大型CSV,并以一种可在恒定时间内拆分文件的方式,支持类似map-reduce的并行计算。需要自定义计算时,xan使用专为CSV设计的表达式语言“moonblade”,不必另外调用Python、JavaScript或Lua。
它的价值不在于替代精细图表,而是把检查、转换和粗略可视化收进同一个可复用的命令行流程。作者称,STEM和社会科学领域的数据科学家已用它探索和预处理大型CSV数年;这一使用情况及性能收益来自作者自述,供稿未提供独立基准数据。