歡迎訪問合肥育英學(xué)校!

合肥育英學(xué)校

您現(xiàn)在的位置是: 首頁(yè) > 奧數(shù) >今年高考英語(yǔ)ai得分134分是多少(今年高考英語(yǔ)ai得分134分怎么樣)

今年高考英語(yǔ)ai得分134分是多少(今年高考英語(yǔ)ai得分134分怎么樣)

發(fā)布時(shí)間:2025-02-12 11:01:56 奧數(shù) 128次 作者:合肥育英學(xué)校

奧飛寺明敏

量子比特|公眾號(hào)QbitAI

今年高考英語(yǔ)ai得分134分是多少(今年高考英語(yǔ)ai得分134分怎么樣)

在接受了語(yǔ)文作文的挑戰(zhàn)之后,AI現(xiàn)在又將目光投向了高考英語(yǔ)。

結(jié)果朋友,我今年高考英語(yǔ)卷子(國(guó)家A級(jí)卷子)一開始就拿到了134分。。

這并不是偶然的超額成就。

在2018年至2021年的10組真實(shí)測(cè)試中,AI的成績(jī)均在125分以上,最高記錄為138.5分,并且還獲得了聽力和閱讀理解滿分。的成績(jī)

這是CMU學(xué)者Qin。提出的高考英語(yǔ)測(cè)試AI系統(tǒng)

其參數(shù)量?jī)H為GPT-3的16分之一,平均成績(jī)卻比GPT-3高出15分。

其背后的秘密叫做重構(gòu)預(yù)訓(xùn)練(reStructuredPre-training),是作者提出的一種新學(xué)習(xí)范式。

具體來說,就是從維基百科、YouTube等平臺(tái)重新提取和重構(gòu)信息,然后喂給AI進(jìn)行訓(xùn)練,從而賦予AI更強(qiáng)的泛化能力。

兩位學(xué)者用足100多頁(yè)的論文,深入解釋了這一新范式。

那么,這個(gè)范式到底是關(guān)于什么的呢?

讓我們仔細(xì)看看吧~

什么是重構(gòu)預(yù)訓(xùn)練?

論文的標(biāo)題很簡(jiǎn)單,叫做reStructuredPre-training(RST)。

核心觀點(diǎn)可以凝結(jié)成一句話,請(qǐng)撥打重視數(shù)據(jù)?。?/strong>

作者認(rèn)為,這個(gè)世界上到處都有有價(jià)值的信息,但目前的人工智能系統(tǒng)并沒有充分利用數(shù)據(jù)中的信息。

例如,維基百科和Github包含了模型可以學(xué)習(xí)的各種信號(hào):實(shí)體、關(guān)系、文本摘要、文本主題等。由于技術(shù)瓶頸,這些信號(hào)之前沒有被考慮。

因此,作者在這篇文章中提出了統(tǒng)一使用神經(jīng)網(wǎng)絡(luò)的方法存儲(chǔ)和訪問包含各種類型信息的數(shù)據(jù)。

它們以信號(hào)為單位以結(jié)構(gòu)化的方式表示數(shù)據(jù),這與數(shù)據(jù)科學(xué)中我們經(jīng)常將數(shù)據(jù)結(jié)構(gòu)化為表或JSON格式,然后通過專門的語(yǔ)言(例如SQL)檢索所需的信息非常相似。

具體來說,這里的信號(hào)實(shí)際上是指數(shù)據(jù)中的有用信息。

例如,在“莫扎特出生于薩爾茨堡”這句話中,“莫扎特”和“薩爾茨堡”都是信號(hào)。

那么,就需要在各個(gè)平臺(tái)上進(jìn)行數(shù)據(jù)挖掘,提取信號(hào)。作者將這個(gè)過程比作從礦井中尋找寶藏。

接下來,利用提示的方法,可以將這些來自不同地方的信號(hào)統(tǒng)一為一種形式。

最后,這些重新組織的數(shù)據(jù)被整合并存儲(chǔ)到語(yǔ)言模型中。

這樣,研究就可以統(tǒng)一來自10個(gè)數(shù)據(jù)源的26種不同類型的信號(hào),讓模型獲得很強(qiáng)的泛化能力。

結(jié)果表明,在多個(gè)數(shù)據(jù)集中,RST-T和RST-A零樣本學(xué)習(xí)的性能為優(yōu)于GPT-3的少樣本學(xué)習(xí)性能。

為了進(jìn)一步測(cè)試新方法的性能,作者還想到了讓AI做高考題的方法。

他們表示,現(xiàn)在很多工作方法都遵循中國(guó)GPT-3的思想,在應(yīng)用場(chǎng)景上他們也遵循OpenAI和DeepMind進(jìn)行評(píng)估。

例如GLUE評(píng)估基準(zhǔn)、蛋白質(zhì)折疊評(píng)分等。

基于對(duì)當(dāng)前AI模型發(fā)展的觀察,筆者認(rèn)為可以開辟一條新的賽道進(jìn)行嘗試,于是想到利用高考來實(shí)踐AI。

他們一共找來了10套往年和往年的試卷來批改,請(qǐng)高中老師來批改。

對(duì)于聽力/圖像理解等問題,還邀請(qǐng)機(jī)器視覺、語(yǔ)音識(shí)別領(lǐng)域的學(xué)者提供幫助。

最終完善了這套高考英語(yǔ)AI模型。您也可以撥打她Qin。

從測(cè)試結(jié)果可以看出,秦老師的學(xué)術(shù)水平絕對(duì)是一流的,他的10套試卷成績(jī)?nèi)扛哂赥0pp和GPT-3。

此外,作者還提出了一個(gè)高考基準(zhǔn)。

他們覺得目前很多評(píng)估基準(zhǔn)任務(wù)都非常簡(jiǎn)單,大部分沒有實(shí)用價(jià)值,很難與人類條件進(jìn)行比較。

高考題不僅涵蓋了多種知識(shí)點(diǎn),而且直接有人類分?jǐn)?shù)進(jìn)行對(duì)比,可謂一石二鳥。

NLP的第五范式?

如果從更深層次來看,作者認(rèn)為重構(gòu)預(yù)訓(xùn)練可能會(huì)成為NLP的新范式,即預(yù)訓(xùn)練/微調(diào)過程視為數(shù)據(jù)存儲(chǔ)/訪問過程。

此前,作者將NLP的發(fā)展概括為四種范式:

P1。全監(jiān)督學(xué)習(xí),非神經(jīng)網(wǎng)絡(luò)時(shí)代的非神經(jīng)網(wǎng)絡(luò)P2.基于神經(jīng)網(wǎng)絡(luò)的全監(jiān)督學(xué)習(xí)(FullySupervisedLearning,NeuralNetwork)P3預(yù)訓(xùn)練、微調(diào)范式(Pre-train、Fine-tune)P4.預(yù)訓(xùn)練、提示、預(yù)測(cè)范式(Pre-train、prompt、Predict)然而,基于目前對(duì)NLP發(fā)展的觀察,他們認(rèn)為未來或許可以以數(shù)據(jù)為中心的方式來看待問題。

也就是說預(yù)訓(xùn)練/微調(diào)、few-shot/zero-shot等概念的區(qū)分會(huì)更加模糊,核心只會(huì)集中在一點(diǎn)——

有價(jià)值的信息有多少、能利用多少。

此外,他們還提出了NLP進(jìn)化假說。

其核心思想是,技術(shù)發(fā)展的方向始終是做更少的事情來實(shí)現(xiàn)更好、更通用的系統(tǒng)。

筆者認(rèn)為NLP經(jīng)歷了特征工程、架構(gòu)工程、目標(biāo)工程、提示工程,目前正在向數(shù)據(jù)工程方向發(fā)展。

復(fù)旦武大校友打造

本文成果WeizheYuan。

她畢業(yè)于武漢大學(xué)本科,隨后前往卡內(nèi)基梅隆大學(xué)讀研究生,學(xué)習(xí)數(shù)據(jù)科學(xué)。

研究方向側(cè)重于NLP任務(wù)的文本生成和評(píng)估。

去年,她有一篇論文被AAAI2022和NeurIPS2021接收,并獲得了ACL2021最佳演示論文獎(jiǎng)。

論文通訊作者為卡內(nèi)基梅隆大學(xué)語(yǔ)言技術(shù)研究所(LTI)博士后研究員劉鵬飛。

2019年于復(fù)旦大學(xué)計(jì)算機(jī)系獲得博士學(xué)位,師從邱錫鵬教授、黃玄晶教授。

研究興趣包括NLP模型可解釋性、遷移學(xué)習(xí)、任務(wù)學(xué)習(xí)等。

博士期間獲得計(jì)算機(jī)領(lǐng)域多項(xiàng)獎(jiǎng)學(xué)金,包括IBM博士獎(jiǎng)學(xué)金、微軟學(xué)者獎(jiǎng)學(xué)金、騰訊人工智能獎(jiǎng)學(xué)金、百度獎(jiǎng)學(xué)金等。

OneMoreThing

值得一提的是,劉鵬飛向我們介紹這部作品時(shí),直言“我們一開始并沒有打算投稿”。

這是因?yàn)樗麄儾幌M麜?huì)議論文的格式限制了他們?cè)谧珜懻撐臅r(shí)的想象力。

我們決定把這篇論文當(dāng)作一個(gè)故事來講述,給“讀者”一種看電影的體驗(yàn)。

這就是我們?cè)诘谌?yè)設(shè)置“觀看模式”全景圖的原因。

就是要帶大家了解NLP發(fā)展的歷史以及我們?cè)O(shè)想的未來是什么,讓每一位研究者都能有一定的參與感,感覺自己在通過礦山尋寶來引領(lǐng)預(yù)訓(xùn)練語(yǔ)言模型(PLM)是一個(gè)通向更美好明天的過程。

文章的最后,還隱藏著一些驚喜的彩蛋。

例如PLMs主題表情包:

以及最后的插圖:

這么看吧,100多頁(yè)的論文讀起來也不會(huì)累了~

論文地址:

https://arxiv.org/abs/2206.11147——完——

量子比特QbitAI·今日頭條簽約

午夜亚洲国产理论片一二三四,亚洲av无码乱码在线,最新中文字幕av专区不卡,中文字幕人妻在线二区