第271章 数据方案（1 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
三月下旬的一个下午，林晨抱着笔记本走进陈博士办公室的时候，白板上还留着上午产品评审的痕迹。他拿起板擦把那些流程图擦干净，然后拧开记号笔的盖子。
陈博士正在回邮件，头也没抬。你那个数据方案，想清楚了？
想清楚了。但先说一个前提——林晨在白板左上角写了个数字：70%。券商授权数据大概只能覆盖我们需要的七成场景。国泰那边总量策略和行业配置签了，个股深度锁死不给。另外两家还在谈，别乐观，一家进度卡在法务审条款，另一家连技术对接人都还没定。
陈博士这才转过来，靠在椅背上看着白板。七成不够。剩下三成你怎么填？
公开数据。林晨在白板上画了第二个框，年报问询函、监管处罚公告、投资者关系活动记录——全是交易所和证监会公开的，没有版权问题。张雨的爬虫已经搭好了，第一批八千份问询函正在入库。
八千份问询函，质量怎么样？
参差不齐。有的问询函回复特别详细，连子公司担保链都拆开了写；有的就几页套话。林晨顿了顿，但量摆在那儿，清洗之后可用的部分我估计能过半。而且问询函有个天然优势——它是交易所质疑上市公司时发的，里面的措辞自带风险线索标记。模型从这种语料里学到的风险信号，比研报里四平八稳的分析要锐利得多。
陈博士站起来走到白板前，盯着那个第二个框看了几秒。你说公开数据没有版权问题——技术上没有。但你有没有想过一个问题：你爬了几千份问询函喂给模型，模型输出的时候如果有一段跟某家公司问询函回复的措辞高度相似，那算不算侵犯这家公司的信息权？
林晨的手停在记号笔上。
这个问题他确实没有深入想过。问询函是公开文件没错，但如果模型生成的文本和某家上市公司的回复原文高度重合，在金融合规语境下确实可能出问题。尤其是涉及未公开的经营数据——虽然出现在问询函回复里，但那家公司可能并不希望这些信息被AI模型重新组合后二次传播。
我加一条规则——林晨在白板上写了几个字，输出环节做去重。模型生成后过一遍跟训练语料的相似度比对，超过阈值的段落自动标注来源并附原文链接。跟我们在国泰那边的溯源设计一脉相承。
陈博士点了下头，视线移到白板空白处。还有呢？券商授权和公开数据加在一起，缺了什么？
市场微观结构。林晨在白板最右边画了第三个框，研报讲的是机构逻辑，问询函讲的是监管视角。但每天实际交易里价格怎么动、量怎么变、信号出了之后市场多长时间反应——这些数据两种来源都没有。
你自己那套量化交易日志？陈博士问。
对。三年，几千条交易信号和对应的市场反应。另外FGPTv2在金融事业部的客服试运行数据，脱敏之后也能用。但这两个加在一起，量不大。交易日志大概三千条，客服日志脱敏过滤之后能用的可能不到两千条。
陈博士转过身面对林晨。你刚才说七成靠券商，剩下靠公开数据补。那市场微观结构这部分呢？五千条样本撑不起一个维度。
撑不起。但这五千条的用法不一样——它混在总量数据里做辅助特征。就像你做NLP的时候加个词性标注，词性本身提供不了主要语义，但能让模型在歧义句上判断更准。交易日志和客服日志起的就是这个作用。
陈博士沉默了一会儿。他拿起白板旁边的一支笔，在第三个框够不够起到辅助的作用？五千条混在总量一万多条的语料里，占比不到三成。模型会不会干脆忽略这个维度的信号？
林晨承认这个问题存在。如果某个特征在训练数据里占比太低，模型可能直接把它当噪声过滤掉。他想了几秒钟。那我把交易日志的数据做一次增强。每条原始信号加反向条件和扰动条件——比如如果信号发出时大盘在跌，结果会怎样。逻辑上是合理的，量化回测本来就做这种条件分解。增强之后数据量能翻三四倍。
翻三四倍——人工合成的数据，模型能分出来吗？
分不出来，前提是增强规则本身是对的。我做了三年量化，增强逻辑不会有问题。
陈博士把笔放回笔槽。数据方案大方向行。但有两个风险点你要盯住——第一，公开数据的合规边界比你以为的模糊，找法务出一份正式的意见书，不要自己判断；第二，券商授权那边另外两家，下周我再帮你推一把，你别花太多精力在上面。你现在的重点应该放在数据清洗和标注上。
↑返回顶部↑