仟传网络是一家AI驱动的社媒大数据解决方案提供商，旨在运用独有大数据及自主研发系统赋能，为企业级客户提供更有价值的KOL及公/私域流量经营解决方案，并提供社媒聆听、行业洞察、SCRM系统管理等综合的数字营销及管理服务，为广告主构建涵盖传播、投放、监测、评估等全方位内容立体生态，创造更有价值的营销服务。
在数字化快速铺开的今天，舆情监测已经成为每个组织和品牌的必备工具。有效的舆情监测能够帮助品牌在信息瞬息万变的时代迅速应对潜在负面消息，降低声誉受损的风险，还能让企业根据舆情数据调整营销策略，提升消费满意度，抢占行业先机。仟传网络旗下的移动联网广告监测平台、社交媒体数据分析平台、晓影短视频舆情监测平台等产品则通过快捷、全面、准确等优势为品牌方提供前沿、专业、科学的策略及项目服务支持。
舆情监控对数据实时性要求高，在现有技术方案中，仟传网络通过自建Elasticsearch来提供舆情相似度检索能力，但从性能、成本角度来看，还无法完全满足仟传网络的需求。在性能上，业务上要求系统支持数万QPS的实时检索，采用ElasticSearch方案难以达到如此高的并发指标。在成本上，使用ElasticSearch方案伴随着高机器资源成本，随着数据量不断增大，机器资源成本将愈加不可控；此外，数据写入和查询流程较为复杂，导致应用开发成本高。
在此背景下，仟传网络进一步寻求降本增效的解决方案，并将目光投向火山引擎ByteHouse。作为一款云原生数据仓库，火山引擎ByteHouse提供极速数据分析服务，能支撑实时数据分析和海量数据离线分析，对内经过字节跳动大量业务检验，并在外部互联网、游戏、金融、汽车等领域产生实效。
从Elasticsearch顺滑迁移到ByteHouse，双方面临的核心难题在于，仟传网络舆情数据高达几十亿，QPS峰值达到数万。ByteHouse不仅要具备处理复杂OLAP分析场景的能力，还要支持仟传网络超高QPS在线点查服务，并做到高吞吐、低延时、高稳定。
为了解决更好解决仟传网络高并发点查的问题，ByteHouse采用多副本机制，将全量数据写入主节点，实时自动同步至多个副本，并通过网关查询实现自动负载均衡、一写多读，从而线性提高并发能力。
ByteHouse高并发点查技术方案
除此之外，ByteHouse还支持通过SQL写入、查询完成业务逻辑，进一步简化数据处理流程，提升开发效率。在资源效率上，ByteHouse采用灵活的资源模型，可支持任意节点数量和副本数量变配。用户最开始只需购买最小资源，后续可随业务增长即时扩容，让成本更加可控。
仟传网络大数据负责人唐根平介绍道：“ByteHouse在几十亿数据下查询和写入都非常稳定，不仅帮我们实现了性能提升，还进一步降低了成本，目前总资源成本整体节省了60%。”
当前视频、图片等成为互联网上的主流内容载体，仟传的晓影短视频舆情监测产品基于短视频平台方数据授权，结合大语言模型（LLM）、自然语言分析（NLP）等AI能力加持，可帮助政企迅速、全面、准确把握短视频舆情动态，ByteHouse即将发布的向量检索和全文检索功能，也将进一步增强晓影在短视频舆情监测业务上的能力。
|