Dialogue Cross-Enhanced Central Engagement Attention Model for Real-Time Engagement Estimation
Jun Yu, Keda Lu, Ji Zhao et al. (学生一作)

1. 为了解决sliding window的重复推理问题，提出cente-based sliding window，推理效率提升100%。
2. 提出基于自注意力机制的核心参与度注意力模型，超越先前的SOTA的BiLSTM模型，推理效率提升300%。
3. 基于交叉注意力提出交叉增强模块，和核心参与度注意力模型无缝集成，交互对话者的特征，实现了实时参与度估计任务新的SOTA。

MvAV-pix2pixHD: Multi-view Aerial View Image Translation
Jun Yu, Keda Lu, Shenshen Du et al. (学生一作)

1. 设计针对多视角图像翻译任务的时间优先采样和随机采样方法。
2. 提出了用于多视角图像翻译的MvAV-pix2pixHD，使用了三个强大的loss。
3. 该论文的方法应用于MAVIC-T竞赛中的2个多视角图像翻译任务中取得了1个冠军和1个亚军。

• ACM-MM 2023(CCF-A) Sliding Window Seq2seq Modeling for Engagement Estimation
  Jun Yu, Keda Lu, Mohan Jing et al. (学生一作)

• TOMM 2024在投(CCF-B) Exploring Seq2seq Models for Engagement Estimation in Dyadic Conversations
  Jun Yu, Keda Lu, Lei Wang et al. (学生一作)

1. 基于Transformer和BiLSTM模型提出Seq2seq参与度估计模型，实现了当前参与度估计任务新的SOTA。Transformer尝试4种绝对和相对位置编码，包括RoPE。
2. 针对长视频直接划分遇到的上下文大量丢失问题，提出滑动窗口提升性能。
3. 提出Ai-BiLSTM去对齐和交互对话者的多模态特征，进一步提升性能。
4. 该论文的方法应用于ACM-MM 2023中的参与度估计竞赛中取得了冠军。

A Comprehensive and Unified Out-of-Distribution Classification Solution Framework
Jun Yu, Keda Lu, Yifan Wang et al. (学生一作)

1. (数据)提出semantic masking数据增强用于提升模型针对occlusion场景的鲁棒性，并提出了OOD-DAS，一个全面且鲁棒的数据增强集合。
2. (模型)提出OOD-Attention，可用于SOTA分类模型无缝集成，提升模型鲁棒性。
3. (策略)提出多架构模型集成的迭代伪标签方法，进一步提升OOD识别的精度。
4. 该论文的方法应用于ICCV 2023的OOD识别竞赛中取得了冠军。

• 2023.10 - 2024.02 贷款客户还款意愿识别

1. 基于百万级别宽表数据和千万级别通话文本进行探索性数据分析(EDA)。
2. EDA->数据清洗->特征工程，使用Bert对文本建模，识别客户的还款意愿。
3. 尝试利用LLM对通话文本进行数据增强，提高模型鲁棒性。

• 2023.03 - 2023.06 OCR大模型展示平台(左图为本人实现demo，以防侵权)

1. 使用Gradio作为前后端，搭建了整个OCR大模型展示接口，包括DocQA、MLLM和纯OCR模块。
2. 本人独立维护，方便对内分析调试，对外业务展示，该项目获得2023年H1【XXX·企点荣誉激励】——技术进步奖。
3. 独立负责DocQA模块，具体细节是对输入的文档、图片等采用ocr提取得到文字后，分段采用embedding后存储到数据库，根据输入的问题也进行embedding，将与之匹配的TopK个段落，一起输入LLM。

• 2023.01 - 2023.03 任意风格中文字体生成 (GAN、Diffusion model)

1. 调研了中文字体生成算法，主流采用GAN，唯一一个采用了Diffusion model(Diff-Font)，但其风格编码器采用的是GAN预训练的模块。
2. 自行搜集400类字体数据，基于Diffusion model(DDPM)设计端到端的字体生成模型，在SSIM、LPIPS等指标上略优于Diff-Font和DG-Font，但加入风格编码的整体结构训练缓慢。

• 未来改进点：End2end、对比学习、Diffusion model

• 2022.11 - 2023.01 文档生成和风格迁移（独立调研）

1. 探索Diffusion model和GAN在端到端文档生成的可能性。
2. 调研了各大顶会五年来的风格迁移文章，CNN->Attention->Transformer，包括AdaIN(ICCV2017)、MetaNet(CVPR2018)、SANet(CVPR2019)、MAST(ACM-MM 2020)、StyleFormer(ICCV2021)、AdaAttN(ICCV2021)和StyTr2(CVPR2022)。
3. 复现其中的StyTr2(CVPR2022)和AdaAttN(ICCV2021)，并迁移到文档生成任务中，用于数据增强。

• 未来改进点：对比学习、GAN、Diffusion model

• 2022.06 - 2022.12 基于Mindspore算法框架复现主流算法

1. 参与复现了RetinaFace人脸检测算法
2. 独立复现了FCENet文本检测算法

• 2020.12 - 2021.01 遗传算法智能排课——课程管理系统（独立实现）

1. 使用sqlite3进行数据库管理，使用Bootstrap-Flask进行可视化设计，学生、教师和系主任采用统一登陆界面，不同客户端界面；包含各种选课功能等。
2. 提出排课智能算法，对排课情况提出了一种新型的优化目标函数（利用课程方差），使用了遗传算法对其优化进行排课。
3. 该项目有2000+行的python代码和1000+行的html代码，已开源至个人博客与Github，阅读量3,000+，累计下载量50+。

• 2019.04 - 2019.06 基于MFC(C++)学生成绩管理系统（独立实现）

1. 包含增删查改全部基础功能，并且有导入、保存、排序等功能。
2. 设计主要参考了QQ的大登录按钮界面，让人产生清晰干净的感觉。
3. 该项目有10000+行的C++代码，已开源至个人博客与Github，阅读量10,000+，累计下载量200+。