炎炎夏日，常常感覺全身沒勁、疲倦乏力，甚至有失眠心煩、口舌生瘡、咽喉黏膩多痰等癥狀。中醫講：濕氣重，五臟六腑運行都會受阻，身體就會沉重，懶散不想動，還會導致浮腫虛胖。
那我們就一起通過智能助手—砭石，這個切實有效的多模態醫療人工智能大模型，一起來了解下夏季養生科學吧。
察言觀色—面診舌診
中醫憑借著望聞問切的功力，收集病情資料，診斷疾病。人的面部是眾多經脈匯聚之地，臟腑氣血的盛衰，在面部會有所表現，通過砭石的“面診”拍個照，人工智能采集面向參數，可以來了解人體的健康狀態和病情變化。以小編的面部照片為例，根據砭石分析顯示:面色偏黃，主熱、主濕、主虛，是脾虛濕蘊的表現。
再使用砭石大模型拍個舌診照片，幾秒后，軟件生成了一段診斷文字，根據舌象特征初步判斷您的體質為: 痰濕體質，常見表現面部皮膚油脂較多，容易因氣溫升高而面紅耳赤，汗多且黏，胸悶腹脹，自覺咽中有痰，容易困倦，身體沉重……痰濕體質的基本特征躍然于屏幕之上。
“有諸于內，必行諸于外”是中醫學樸素的辨證法，砭石通過深度學習算法對中醫面診舌診進行賦能，將表皮特征與人體內部的臟腑、經絡等聯系起來，通過辯證思考，判斷出病人的體質和病情。
問長問短—對話問診
夏季悶熱，痰濕體質者體內濕氣較重，易受外界暑熱、暑濕之氣的侵襲，進一步加重痰濕程度，因此痰濕體質的人在夏季是很難度過的。
我們再問問砭石，痰濕體質夏季怎么調理？一行文字輸出到對話框……
砭石顯示，痰濕體質者體內多因水液內停而痰濕凝聚，所以宜以化痰祛濕為主，兼健運脾胃。具體建議如下：飲食調理，痰濕體質的膳食應以清淡作為主要原則，運動調養……藥物調理……睡眠調養多項養生調理建議迅速生成。
細致入微—健康監測
隨著天氣變熱，感覺心跳也加快了，通過砭石測測心率和呼吸率這些生理指標。鎖定人臉框，錄制一分鐘視頻，通過捕捉人臉表面周期變化來實現對心率、呼吸率、心率變異性、血壓、血氧等生理指標測量，生命體征參數分別顯現于屏，壓力正常，可以放心了。
以上是智慧眼砭石大模型在圖片、文字、視頻多模態復合能力的部分演示。
多模態對于解決醫療領域任務的復雜性和多樣性具有極其重要的意義。目前，人工智能在醫學上的應用大多數采用單模態數據來處理特定的任務，例如計算機斷層掃描顯像(CT)和視網膜圖像等。但是，臨床醫生在診斷、評估和決策治療計劃時，會處理來自多個源的多模態的數據，因此，多模態數據在個性化醫療、數字臨床試驗、遠程監測和護理、虛擬健康助手方面將發揮重要的應用。
直觀地，多模態學習可以聚合多源數據，獲得更多的輔助信息以及更豐富的表示，進而獲得更好的診斷效果。
具體來說，面向用戶，多模態首先更符合人類認知世界的習慣，人類具有多種感官，接受多種模態信息，這些信息常常是互補的、協同作用的，因此，使用多模態信息一般可以更好地認知與完成復雜任務。其次，交互體驗增強，通過支持多模態輸入，用戶可以通過更加靈活的方式傳達信息。最后，更廣泛的任務支持，LLM通常只能完成NLP相關任務，而MLLM通過接入多模態可以完成更多任務。
砭石是典型的醫療領域多模態大模型，通過多模態指令微調、上下文學習、思維鏈推理等關鍵技術能夠支持包括醫療領域文本、圖像、視頻和音頻形式的輸入，具體形式覆蓋智能問診，輔助閱片，面診舌診，生理指標預測，睡眠監測幾個方面，不僅實現了中西醫診療相結合，而且實現了動態視頻與靜態圖文處理，可以方便醫療機構更好地理解分析病情，提高了醫療信息處理的效率和準確性。
風起云涌的AI領域，“多模態預訓練大模型將成為人工智能基石”已成業內共識。未來，這一基石將實現圖像、文本、視頻、音頻的統一知識表達，并朝著具備推理、問答、總結等認知智能方向發展，砭石將在醫療健康領域全面發揮其潛能。
