人工智能技術(shù)在電商領(lǐng)域，有著豐富的應(yīng)用場(chǎng)景。應(yīng)用場(chǎng)景是數(shù)據(jù)入口，數(shù)據(jù)通過(guò)技術(shù)得到提煉，反過(guò)來(lái)又作用于技術(shù)，二者相輔相成。
京東基于自然語(yǔ)言理解與知識(shí)圖譜技術(shù)，開(kāi)發(fā)了商品營(yíng)銷(xiāo)內(nèi)容的AI智能寫(xiě)作服務(wù)。并將此項(xiàng)技術(shù)應(yīng)用到了京東零售【發(fā)現(xiàn)好貨】頻道中。
通過(guò)AI智能寫(xiě)作創(chuàng)作的數(shù)十萬(wàn)商品營(yíng)銷(xiāo)圖文素材，不僅填補(bǔ)了商品更新與達(dá)人寫(xiě)作內(nèi)容更新之間的巨大缺口，也提升了內(nèi)容頻道的內(nèi)容豐富性。
同時(shí)，京東AI智能寫(xiě)作生成的營(yíng)銷(xiāo)文案內(nèi)容在曝光點(diǎn)擊率、進(jìn)商詳轉(zhuǎn)化率等方面其實(shí)都做到了優(yōu)于人工創(chuàng)作的營(yíng)銷(xiāo)內(nèi)容。在剛剛結(jié)束的京東618，AI智能寫(xiě)作產(chǎn)品已覆蓋京東零售超過(guò)2000個(gè)商品品類(lèi)，在圖文內(nèi)容營(yíng)銷(xiāo)上，智能寫(xiě)作產(chǎn)品撰寫(xiě)的導(dǎo)購(gòu)素材相比于人工撰寫(xiě)內(nèi)容點(diǎn)擊轉(zhuǎn)化率超過(guò)40%。接下來(lái)讓我們通過(guò)解讀京東AI研究院入選 AAAI 2020 的論文來(lái)一起來(lái)看看，AI是如何做到針對(duì)不同群體打造不同營(yíng)銷(xiāo)策略及不同風(fēng)格的營(yíng)銷(xiāo)文案，從而提高營(yíng)銷(xiāo)轉(zhuǎn)化率的。
自動(dòng)文本摘要（簡(jiǎn)稱(chēng)“自動(dòng)文摘”）是自然語(yǔ)言處理領(lǐng)域中的一個(gè)傳統(tǒng)任務(wù)，其提出于 20 世紀(jì) 50 年代。自動(dòng)文摘任務(wù)的目標(biāo)是對(duì)于給定的文本，獲得一段包含了其中最重要信息的簡(jiǎn)化文本。常用的自動(dòng)文摘方法包括抽取式自動(dòng)文摘（Extractive Summarization)和生成式自動(dòng)文摘（Abstractive Summarization)。抽取式自動(dòng)文摘通過(guò)提取給定文本中已存在的關(guān)鍵詞、短語(yǔ)或句子組成摘要；生成式自動(dòng)文摘通過(guò)對(duì)給定文本建立抽象的語(yǔ)意表示，利用自然語(yǔ)言生成技術(shù)，生成摘要。
本文所介紹的是基于關(guān)鍵詞指導(dǎo)的生成式句子摘要方法，該方法融合了抽取式自動(dòng)文摘和生成式自動(dòng)文摘，在Gigaword句子摘要數(shù)據(jù)集上與對(duì)比模型相比，取得了更好的性能。
論文鏈接：http://box.jd.com/sharedInfo/B2234BB08E365EEC；
1、生成式句子摘要
生成式句子摘要(Abstractive Sentence Summarization)任務(wù)的輸入是一個(gè)較長(zhǎng)的句子，輸出是該輸入句子的簡(jiǎn)化短句。
我們注意到，輸入句子中的一些重要詞語(yǔ)（即關(guān)鍵詞）為摘要的生成提供了指導(dǎo)線索。另一方面，當(dāng)人們?cè)跒檩斎刖渥觿?chuàng)作摘要時(shí)，也往往會(huì)先找出輸入句子中的關(guān)鍵詞，然后組織語(yǔ)言將這些關(guān)鍵詞串接起來(lái)。最終，生成內(nèi)容不僅會(huì)涵蓋這些關(guān)鍵詞，還會(huì)確保其流暢性和語(yǔ)法正確性。我們認(rèn)為，相較于純粹的抽取式自動(dòng)文摘和生成式自動(dòng)文摘，基于關(guān)鍵詞指導(dǎo)的生成式自動(dòng)文摘更接近于人們創(chuàng)作摘要時(shí)的習(xí)慣。
我們舉一個(gè)簡(jiǎn)單的句子摘要的例子。如圖1所示，我們可以大致將輸入句子和參考摘要的重疊的詞（停用詞除外）作為關(guān)鍵詞，這些重疊的詞語(yǔ)覆蓋了輸入句子的要點(diǎn)。例如，我們通過(guò)關(guān)鍵詞“世界各國(guó)領(lǐng)導(dǎo)人”“關(guān)閉”和“切爾諾貝利”，可以獲取輸入句子的主旨信息，即“世界各國(guó)領(lǐng)導(dǎo)人呼吁關(guān)閉切爾諾貝利”，這與實(shí)際的參考摘要 “世界各國(guó)領(lǐng)導(dǎo)人敦促支持切爾諾貝利核電站關(guān)閉計(jì)劃”是相吻合的。這種現(xiàn)象在句子摘要任務(wù)中很常見(jiàn)：在Gigaword句子摘要數(shù)據(jù)集上，參考摘要中的詞語(yǔ)超過(guò)半數(shù)會(huì)出現(xiàn)在輸入句子中。
2、模型概述
句子摘要任務(wù)的輸入為一個(gè)較長(zhǎng)的句子，輸出是一個(gè)簡(jiǎn)短的文本摘要。我們的動(dòng)機(jī)是，輸入文本中的關(guān)鍵詞可以為自動(dòng)文摘系統(tǒng)提供重要的指導(dǎo)信息。首先，我們將輸入文本和參考摘要之間重疊的詞（停用詞除外）作為Ground-Truth關(guān)鍵詞，通過(guò)多任務(wù)學(xué)習(xí)的方式，共享同一個(gè)編碼器對(duì)輸入文本進(jìn)行編碼，訓(xùn)練關(guān)鍵詞提取模型和摘要生成模型，其中關(guān)鍵詞提取模型是基于編碼器隱層狀態(tài)的序列標(biāo)注模型，摘要生成模型是基于關(guān)鍵詞指導(dǎo)的端到端模型。關(guān)鍵詞提取模型和摘要生成模型均訓(xùn)練收斂后，我們利用訓(xùn)練好的關(guān)鍵詞提取模型對(duì)訓(xùn)練集中的文本抽取關(guān)鍵詞，利用抽取到的關(guān)鍵詞對(duì)摘要生成模型進(jìn)行微調(diào)。測(cè)試時(shí)，我們先利用關(guān)鍵詞提取模型對(duì)測(cè)試集中的文本抽取關(guān)鍵詞，最終利用抽取到的關(guān)鍵詞和原始測(cè)試文本生成摘要。
（1）多任務(wù)學(xué)習(xí)
文本摘要任務(wù)和關(guān)鍵詞提取任務(wù)在某種意義上非常相似，都是為了提取輸入文本中的關(guān)鍵信息。不同點(diǎn)在于其輸出的形式：文本摘要任務(wù)輸出的是一段完整的文本，而關(guān)鍵詞提取任務(wù)輸出的是關(guān)鍵詞的集合。我們認(rèn)為這兩個(gè)任務(wù)均需要編碼器能夠識(shí)別出輸入文本中的重要信息的能力。因此，我們利用多任務(wù)學(xué)習(xí)框架，共享這兩個(gè)任務(wù)編碼器，提升編碼器的性能。
（2）基于關(guān)鍵詞指導(dǎo)的摘要生成模型
我們受Zhou等人工作[1]的啟發(fā)，提出了一種基于關(guān)鍵詞指導(dǎo)的選擇性編碼。具體來(lái)說(shuō)，由于關(guān)鍵詞含有較為重要的信息，通過(guò)關(guān)鍵詞的指導(dǎo)，我們構(gòu)建一個(gè)選擇門(mén)網(wǎng)絡(luò)，其對(duì)輸入文本的隱層語(yǔ)義信息進(jìn)行二次編碼，構(gòu)造出一個(gè)新的隱層。基于這個(gè)新的隱層進(jìn)行后續(xù)的解碼。
我們的解碼器基于Pointer-Generator網(wǎng)絡(luò)[2]，即融合了復(fù)制機(jī)制的端到端模型。對(duì)于Generator模塊，我們提出直連、門(mén)融合和層次化融合的方式對(duì)原始輸入文本和關(guān)鍵詞的上下文信息進(jìn)行融合；對(duì)于Pointer模塊，我們的模型可以選擇性地將原始輸入和關(guān)鍵詞中的文本復(fù)制到輸出摘要中。
3、實(shí)驗(yàn)與分析
（1）數(shù)據(jù)集
在本次實(shí)驗(yàn)中，我們選擇在Gigaword數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含約380萬(wàn)個(gè)訓(xùn)練句子摘要對(duì)。我們使用了8000對(duì)作為驗(yàn)證集，2000對(duì)作為測(cè)試集。
（2）實(shí)驗(yàn)結(jié)果
表1顯示了我們提出的模型比沒(méi)有關(guān)鍵詞指導(dǎo)的模型表現(xiàn)更好。我們測(cè)試了不同的選擇性編碼機(jī)制，分別是輸入文本的自選擇，關(guān)鍵詞選擇和互選擇，實(shí)驗(yàn)結(jié)果顯示互選擇的效果最佳；對(duì)于Generator模塊，我們發(fā)現(xiàn)層次化融合的方式要優(yōu)于其他兩種融合方式；我們的雙向Pointer模塊比原始的僅能從輸入文本中復(fù)制的模型表現(xiàn)更好。
4、總結(jié)
本文致力于生成式句子摘要的任務(wù)，即如何將一個(gè)長(zhǎng)句子轉(zhuǎn)換成一個(gè)簡(jiǎn)短的摘要。我們提出的模型可以利用關(guān)鍵詞作為指導(dǎo)，生成更加優(yōu)質(zhì)的摘要，獲得了比對(duì)比模型更好的效果。
1）通過(guò)采用了多任務(wù)學(xué)習(xí)框架來(lái)提取關(guān)鍵詞和生成摘要；
2）通過(guò)基于關(guān)鍵字的選擇性編碼策略，在編碼過(guò)程中獲取重要的信息；
3）通過(guò)雙重注意力機(jī)制，動(dòng)態(tài)地融合了原始輸入句子和關(guān)鍵詞的信息；
4）通過(guò)雙重復(fù)制機(jī)制，將原始輸入句子和關(guān)鍵詞中的單詞復(fù)制到輸出摘要中。
在標(biāo)準(zhǔn)句子摘要數(shù)據(jù)集上，我們驗(yàn)證了關(guān)鍵詞對(duì)句子摘要任務(wù)的有效性。
注釋?zhuān)?/p>
[1] Zhou, Q.; Yang, N.; Wei, F.; and Zhou, M. 2017. Selective encoding for abstractive sentence summarization. In Proceedings of ACL, 1095–1104.
[2] See, A.; Liu, P. J.; and Manning, C. D. 2017. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL, 1073–1083.
