• 学院内网
搜索
返回主站
English
  • 学院概况
    • 概览
    • 学科方向
    • 院长致辞
    • 学院刊物
      • 宣传手册
      • 季度简报
      • 年报
    • 常见问题
    • 联系我们
  • 项目设置
    • 简介
    • 本科生
      • 数据科学与大数据技术
      • 统计学
      • 计算机科学与技术
      • 金融工程
      • 2+2双主修
        • 跨学科数据分析 + X 双主修课程
        • 航天科学与地球信息学 + X 双主修课程
      • 哥大3+2直硕项目
    • 硕士研究生
      • 数据科学理学硕士
      • 金融工程理学硕士(全日/兼读制)
      • 人工智能与机器人理学硕士
      • 计算机科学理学硕士
      • 统计学理学硕士
      • 生物信息学理学硕士
    • 博士研究生(哲学硕士)
      • 数据科学哲学硕士-博士
      • 计算机科学哲学硕士-博士
  • 师资力量
    • 教职人员
    • 荣休教授
    • 兼职人员
    • 科研/访问人员
    • “数说名师”教授访谈
  • SDS学生
    • 博士生
    • 学生访谈
  • 新闻与公示
    • 新闻
    • 公示
  • 学院活动
    • 学术会议
      • ICSR+InnoBiz 2024
      • CSAMSE 2023
      • RMTA 2023
      • ICASSP 2022
      • Mostly OM 2019
    • 学术活动
      • 活动预告
      • 活动报名
      • 活动回顾
    • 数据科学名家讲坛
      • 活动预告
      • 活动报名
      • 活动回顾
    • 其他活动
      • 活动回顾
      • 活动报名
      • 活动预告
  • 学术科研
  • 人才招聘
    • 教职人员
    • 博士后
  • 职业发展
    • 升学就业
    • 国际交流
  • 学院概况
    • 概览
    • 学科方向
    • 院长致辞
    • 学院刊物
      • 宣传手册
      • 季度简报
      • 年报
    • 常见问题
    • 联系我们
  • 项目设置
    • 简介
    • 本科生
      • 数据科学与大数据技术
      • 统计学
      • 计算机科学与技术
      • 金融工程
      • 2+2双主修
        • 跨学科数据分析 + X 双主修课程
        • 航天科学与地球信息学 + X 双主修课程
      • 哥大3+2直硕项目
    • 硕士研究生
      • 数据科学理学硕士
      • 金融工程理学硕士(全日/兼读制)
      • 人工智能与机器人理学硕士
      • 计算机科学理学硕士
      • 统计学理学硕士
      • 生物信息学理学硕士
    • 博士研究生(哲学硕士)
      • 数据科学哲学硕士-博士
      • 计算机科学哲学硕士-博士
  • 师资力量
    • 教职人员
    • 荣休教授
    • 兼职人员
    • 科研/访问人员
    • “数说名师”教授访谈
  • SDS学生
    • 博士生
    • 学生访谈
  • 新闻与公示
    • 新闻
    • 公示
  • 学院活动
    • 学术会议
      • ICSR+InnoBiz 2024
      • CSAMSE 2023
      • RMTA 2023
      • ICASSP 2022
      • Mostly OM 2019
    • 学术活动
      • 活动预告
      • 活动报名
      • 活动回顾
    • 数据科学名家讲坛
      • 活动预告
      • 活动报名
      • 活动回顾
    • 其他活动
      • 活动回顾
      • 活动报名
      • 活动预告
  • 学术科研
  • 人才招聘
    • 教职人员
    • 博士后
  • 职业发展
    • 升学就业
    • 国际交流
  • 学院内网
返回主站
English

面包屑

  • 首页
  • 学院活动
  • 学术活动
  • 【学术会议】Text Representation Learning and Pre-trained Models

【学术会议】Text Representation Learning and Pre-trained Models

2020-11-18 学术活动

主题: Text Representation Learning and Pre-trained Models

报告人: Prof. Yan SONG, CUHK-Shenzhen

时间: 12:00 pm - 01:00 pm, Wednesday, November 18, 2020

地点: 道远楼501

 

 

Abstract

 

Current natural language processing (NLP) requires to properly represent text for neural models so as to improve NLP applications accordingly. Neural text representation models have been developed and contribute so much to the NLP community in the past decade, including word embeddings, context-aware embeddings as well as current pre-trained models. Especially nowadays, pre-trained models become the most prevailing technique that helps researchers and engineers not only obtain the state-of-the-art performance in many NLP tasks, but also simplify NLP process to a two-stage paradigm. This tutorial revisits the development of text representation techniques with some detailed descriptions on particular models, and analyze how the pre-trained models are learned with their resource requirement (which explains that why NLP becomes an arm-race among giant companies in current AI fields).

 

 

Biography

 

 

Prof. Yan SONG joined CUHK-SZ in 2020 and is current an associate professor in SDS. His research focus includes Natural Language Processing (NLP), Information Retrieval and Extraction, and Text Representation Learning. He has published extensively in world leading AI academic conferences and journals, such as the Annual Meeting of the Association for Computational Linguistics (ACL), American Association for Artificial Intelligence (AAAI), Empirical Methods in Natural Language Processing (EMNLP), International Joint Conference on Artificial Intelligence (IJCAI), Computational Linguistics Journal, etc. Apart from his academic publications, Prof. Song also has rich working and researching experiences: he joined Microsoft Research Asia as Visiting Researcher in 2010, and the main contribution of his work is the first large-scale CCG treebank and parser for Chinese. He went to University of Washington as the Visiting Scholar from 2011 to 2012, and later joined Microsoft AI & Research as a researcher (he was one of the founding members of Microsoft XiaoIce). From 2017 to 2019, he was the principal researcher in the natural language processing center in Tencent AI Lab. A representative work he led during this period is the Large-scale Chinese word embeddings, an open-source embedding resource for Chinese language that filled the blank in this area, covering over 8 million words. This embedding resource is awarded as one of 10 AI open source datasets in 2018.

 

地址: 广东省深圳市龙岗区龙翔大道2001号道远楼3-6楼
邮箱: sds@cuhk.edu.cn
微信公众号: cuhksz-sds

sds.cuhk.edu.cn

版权所有 © 香港中文大学(深圳)数据科学学院