在近日舉辦的火山引擎AI創新巡展(上海站)活動中，火山引擎總裁譚待表示，豆包大模型在三個月內綜合能力提升了20.3%，在降低價格門檻的同時確保高性能，讓大模型更容易在千行百業落地。
在今年5月舉辦的Force原動力大會上，字節跳動發布了豆包大模型，并將推理成本打到最低，豆包通用模型pro在企業市場的推理輸入定價為0.0008元/千Tokens。
豆包通用模型pro為客戶提供業內最高標準的初始 TPM(每分鐘 Tokens)和 RPM(每分鐘請求數)，有助于企業的業務在高并發場景中落地。
在演講中，譚待以經常出現高并發、高負載的企業客服行業為例，分享了豆包大模型的性能情況。
他表示，在企業客服行業，隨著交易量出現波峰、波谷，場景始終在不斷變化。而憑借豆包大模型，以及火山引擎的能力和服務，已經幫助很多企業客服客戶優化了效果，并支持住最高并發挑戰。
火山引擎智能算法負責人、火山方舟負責人吳迪則表示，為應對企業日常業務的真實需求，火山引擎通過將調度做到極致，在成本方面極具優勢。
同時，火山引擎支持在分鐘級時間段內，完成數千卡伸縮，有效支持突發流量和業務高峰。火山引擎推出的批量推理模式，使得接入豆包模型批量推理模式的客戶，默認可獲得13億tokens的起始額度。
沐瞳智能服務負責人張文文則在現場分享了沐瞳與火山引擎合作的真實案例。沐瞳通過將豆包大模型能力應用于旗下游戲的 AI 實時判罰場景，基于游戲內聊天文本對辱罵/攻擊性發言進行識別，取得良好的真實效果。
他表示，在對戰游戲領域，玩家很容易情緒激動，情不自禁地“口吐芬芳”。如不能對此有效管理，則可能導致玩家流失、游戲口碑下降。
大模型出現之前，對于這種情況的傳統解法，只有關鍵字屏蔽，以及客服解決等。但真實場景是，游戲中每天發生上億場戰斗，其中三百萬場可能出現相關投訴，只依靠客服處理并不現實。
在使用豆包大模型后，與舉報相關的聊天記錄會發給大模型，以編制過的prompt，讓大模型對其加以識別，再根據識別結果做出針對性的判罰、處理、禁言等。最終，召回率超過80%，個別語種甚至能夠超過90%，并且用通用模型即可管理52種語言的業務。
火山引擎云基礎產品負責人羅浩則表示，在與沐瞳的合作中，大量用到了各種的云基礎，以及包括豆包大模型在內的火山引擎AI產品，并且所有的產品使用都在同一朵云之上，在整體調用過程中也沒有出現額外的流量成本，調用的延時也做到了最優化。
在現場，羅浩還列舉了客戶美圖的具體案例，進一步解讀了企業如何在具體業務場景中更高效地利用火山引擎的云端資源。他表示，火山引擎提供彈性資源池，利用潮汐算力，使得美圖在整體使用GPU和CPU云資源時，成本達到最優化。
