former编码器+双向预训练进行的自然语言理解。」
「如果百度或者谷歌，包括碳矽数据可以用我们TD模型的思路把它集成到搜索业务里，我相信一定能更好的提升搜索结果的相关性。」
能够更好的理解用户搜索的问题，自然也就能更好的提供答案。
俞兴沉默了好一会，说道：「吴总，那还是拜托你把关於TD模型的原理再详细的给我一份论述，要是能参照业内的相关研究，那就更好了。」
他隐约发觉到问题了，TD模型似乎是检索式、搜索式应用方面更广，而不是後来主流的可以自由对话的生成式。
这里面或许是TD模型现在路线的研究还没推进到位，或许就是还存在基於Transformer机制上另外的路线。
如果想要验证这一点，只要对比OPENAI的研究就能知道了。
吴恩达察觉到老板的迷惑，但不知道到底是关乎什麽，也就答应了这个要求。
俞兴不确定自己的想法是否幼稚，不过，对於这件事的可能性也不是特别着急，连可以随时询问吴恩达等人的自己都难以摸清，那投资人们就难搞清楚了。
而且，美国之行就可以直接登门拜访请教。
DLF都愿意开源自己研究的东西，不要求其他家把他们研究的东西全部亮出来，对比找找参照总是可以的吧。
就在次日，吴恩达把TD—1模型更详细的材料发了过来。
俞兴推开半天时间，专门窝在办公室里啃这篇邮件。
按照吴恩达的表述，TD—1模型的本质是使用了12层Transformer编码器，再通过双向掩码预训练的自然语言处理模型，总参数量在1.1亿。
俞兴仔细看文件里的描述，怀疑是参数量还不够高的问题，但是，等到反覆浏览之後，另外一处对Transformer论文的描述又引起注意。
由谷歌发布的Transformer论文，它提出的是一套完整的编码器+解码器的架构，编码器用来理解输入的意思，解码器用来生成输出的文本。
俞兴静静的思考，编码器，理解，解码器，生成。
TD—1模型主要使用的是编码器的架构。
他乾脆把相关内容都写在了面前，然後把电话再次打给吴恩达：「吴总，为什麽我们
的TD—1主要是使用编码器，我看Transformer论文不是包含编码器和解码器
…。。