如何骑驴（Paper）找马（Contributions）？

　　整体上讲★★★，辅导的目标不仅仅是帮助同学完成高质量的论文，也希望能够培养及建立起科研视角。为此★★，针对不同需求的同学★，我们制订个性化的辅导方案★，系统化的执行计划★★★，协作同学并一起推进执行计划和成果。

　　整体上而言，一个论文的创新都是基于历史的成果基础上★★★，发展和演变而言的★★。这种创新模式可以分为几种类型：发现新问题★★★；发明新方法；新方法解决新问题；对于新趋势的洞察；新理论的建立；用新方法更新老方案★★。如下图所示(红色部分)★★：

　　以上几个Toy Example实例★★，旨在说明从论文中找到研究方向及创新点需要培养观察力、提问能力和扩展思维。本人接触和辅导过的学生中，不少同学都缺乏这样的锻炼和实践。为此★★★，我们在论文构思阶段★★★，可以先从精读开始进行实践，再按照Critical Thinking的视角★，去分析文章的优势和不足，逐步饯行“骑驴找马★★★”。同时，有些的同学希望直接牵出“马”（研究方向和创新点）， 本人一般也会把“驴”群牵出来或圈起来，一起系统讨论（通常，会围绕一个容易理解的Running case来展开）★★，目的就是为了恢复“找”的过程（这是构思新论文的Abstract和Introduction的核心论述逻辑，也是实验设计的出发点）★。

　　适用范围★★：论文的方法是否只在特定领域/数据集有效★★★？能否扩展到更广泛的场景？

　　如上论文谈到支持不同领域和跨任务的agentic workflow 是很 有挑战性的★★。的确，不同的类型对于agent role和flow定义是不同的，如何可以统一定义或跨任务复用呢？

　　寻找方式★★★：查看论文引言和相关工作部分（Related Work），注意★★★“However”, ★“But★”等转折句，通常在描述现有方法的不足时出现。

　　除AI论文辅导外，还有AI交叉多学科的论文辅导，以及不交叉AI的大量金融学★、法学、经济学、管理学★、社会学、新闻传播学★★★、教育学、环境学、材料学等等的博导/教授，官网上没一一挂出。

　　课程咨询可找苏苏老师VX★★★：julyedukefu008或七月在线其他老师

　　同一领域的多个论文通常会解决类似问题，但方法不同。对比不同方法，找到有待改进的地方★★★。例如，在知识蒸馏★、模型压缩★★★、预训练模型等领域，这种方法尤为有效。

　　如上图所示，红色的文字和链接都是审稿人比较认同的创新方向★★，但这些创新背后的力量，其实来源蓝色那些工作，这部分工作是老方案迁移解决新问题；用老结构去演化新趋势；用老方法去派生出新方法；老理论可以革新为新理论；新理论可以推演出老方法等等。这些不仅仅是论文创新不可缺少的思考，也是文章例证或演变的基础★★★，这些都是所谓的“驴”的核心价值★。例如，将卷积神经网络（CNN）从图像识别扩展到自然语言处理领域，催生了基于CNN的文本分类模型。然而，这种迁移也带来了挑战，比如领域特异性的不匹配或新任务对方法的适配需求★★★。研究者需要深入理解新问题的本质，并在迁移中设计合理的改进，才能真正体现创新价值。换句话说★，“驴”虽然有现成的力量，但如何让它适应新路，才能成为一匹宝马。学术研究中，一个广受欢迎的创新模式是用老理论的核心思想推演出新方法。例如★★，支持向量机（SVM）的核方法理念，推动了核化技术在多任务学习中的应用★★★；或经典动态规划的思想在深度强化学习中的复兴，通过将值函数逼近结合策略搜索解决更复杂的问题★★★。同样，老结构在新趋势的驱动下也能焕发新生，比如 Transformer 的自注意力机制取代了传统RNN结构的序列建模方式。可见，创新并不总是彻底摒弃过去，而是以革新的视角重新审视现有理论或结构，为新问题、新技术趋势开辟新的解决途径。这种演变方式不仅高效，还体现了研究中的继承与发展逻辑，是“驴★★”不断成长为“马★★★”的核心驱动★。

　　为此，是否可以原来各个数据集上引入扩展机制★★，利用Data Augmentation（手工或LLM构造不同Multi-Hop 模板）以生成不同推理难度的数据★，以此可以设计不同难度与Reasoning正确率的相关性实验★★★。而这样的设计★，对于理解Self-consistency在同一数据不同难度的表现，有更为深入的理解。

　　阅读某一技术方向的连续工作（如Transformer模型的演进），思考是否有规律或瓶颈未被攻克★★★。

　　寻找方式：分析实验部分的结果★★，关注作者解释不充分的现象（如性能在某个数据集下降）。

　　如上论文利用Self-consistency 对比Chain-of-thought 提高reasoning的正确率★★★。其实★★★，测试数据中有100%准确率的情况，可以反映出Prompt 的设计与模型的训练数据分布高度一致★★，模型可能并未展现真正的泛化能力★★★，而是依赖于其训练数据中已有的模式或知识★, 推理任务的设计可能不足以测试模型的真正能力。

　　如上论文利用LLM 作为Text optimizer进行梯度优化,但是Numeric的梯度优化时，需要变量可微（Differentiable）,那么引用了一个新问题★，如果进行TextGrad的计算是，是否可以结合Token Embedding的信息进行梯度计算和汇总呢？

　　同时，对比不同的Prompt测试不同难度reasoning的测试★★，可以评估prompt的泛化能力及其内容的敏感性问题。

　　同时★★★，利用同一主题的多篇文章一起阅读★，也有利于找到相关问题或创新方向，以成果技术演进的角度去切入：

　　如果将Prompt 优化看作一个修改过程，那么这些修改的动作★★，是否可以看作agent的action呢,那么这个优化是否可以转化为policy的优化呢？

　　基于代码的执行逻辑★★★，是否可以Codify 这个泛化Flow 和Role★★,这样就可以初步验证定义的是否合理★★★。

　　为解决困扰硕博生/高校老师多年的论文难题，以及提高想进大厂或已在大厂的职业竞争力，来自哈佛/UCL/清北复 交浙大等全球TOP高校的研究员/博导/顶会审稿人1V1辅导国内核心/EI/ei/SCI/CCF/各顶会

　　寻找方式：阅读方法部分（Methodology），思考现有模型的假设、结构或训练过程是否可以简化或改进。

　　学术论文竞争越来越日益激烈，投稿持续攀升，录用率（Acceptance rate）却持续走低★★。以2023年AI主要会议为例: AAAI 19★.6% (1721/8777), ICML 27.9% (1827/6538), NeurIPS 26.1%, (3217/12343), CVPR 25★.8% (2360/9155)★★, ACL 23★.5% (910/3872)。对于同学来说，如何快速找到文章的高质量地研究方向及创新点，变得更加迫切★★。本文主要是简单归纳出如何从已有论文中找到研究问题并进一步发展为新论文的研究方向及创新点。这过程如同骑驴找马的“否定之否定”★，是辅导并协助同学发表高质量论文的基础训练和实践★★★。