要偏向於更為全面的文獻資料。生命週期評價的本質是用來評估產品或服務從生產到消費再到廢棄的整個過程對環境和社會的影響,它考慮了資源使用、能源消耗、排放物的產生等方面。那麼為了提高最後基於電力LCA這個領域搭建的專業模型的準確度,對文獻進行精細篩選,選取同時包括流程圖,資料,各單元過程投入產出詳細資料,資料時間地點落去方法,技術細節的文獻,作為最終的資料。將精細篩選後的論文資料,結合unstructed庫進行資料處理。進行資訊精細化拆解與清洗,使以pdf形式儲存的文獻資料透過分割,分割槽,變成便於嵌入模型的結構化資料。對文字進行篩選與清理,影像的內容進行識別,儲存影像的解釋資訊,表格轉化為HT格式。最後統一變成標題加內容的格式。在這裡我列舉了簡單的資料處理流程。首先是對資料進行分割。隨後是對文字進行拆分,識別內容是否為文字,如果是,就填進text_list。將表格轉化為HT格式,將圖片變為圖片解釋資訊。第二部分是知識庫的構建。向量知識庫,能將各類資料(如文字、影像、音訊等)轉化為向量形式進行儲存。資料之間的相似性和關聯性得以量化,不像平時你儲存你的,我儲存我的,向量資料庫給予了一個統一的標準。也正是因為統一了格式,利用相似度對比,檢索更加高效。構建知識庫的流程首先是提取分割文字進行向量化的操作。向量化的本質是將離散的符號資訊,如詞或句子,對映到連續的向量空間中,以便計算機能夠處理。向量化將高維資料轉化為低維資料,保留了資料的關鍵特徵又降低了資料的複雜度。選擇pipecone儲存向量資料,它支援查詢,插入,刪除等一些列操作。選擇weaviate作為向量搜尋引擎,可以透過主題的分類檢索,進行語義搜尋、問答提取等等功能。第三部分是chatbot的構建。先前已經構建好了針對電力LCA領域的專業大模型,但是缺少檢驗模型的手段,即缺少模型最佳化環節,本專案設定透過Chatbot模式,透過與使用者進行問答的形式,檢驗模型是否能呼叫電力行業LCA領域向量資料庫回答該領域專業性問題和時效性問題的有效性。Chatbot是模擬人類對話的一種形式,就我們平時能使到的chatgpt就是以chatbot的形式來呈現的,而chatbot在這裡的功能實現主要是為了體現檢索功能,大致可分為知識庫檢索功能和線上搜尋。那麼就產生了三種檢索模式。
僅基於大語言模型,連線知識庫搜尋,和線上搜尋。前端部分我採用streait來完成,UI設計如圖所示。這邊是功能按鈕,中間是對話方塊。先前有講到了,我們來檢測針對專業領域的大模型的標準就是檢測是否有能力回答專業領域的問題,並針對結果進行最佳化。這裡我向chatbot提出同一個問題。只採用大語言模型,採用知識庫與大語言模型結合,和聯網搜尋與大語言模型結合。三種功能下獲得的回答是完全不同的,後面兩個檢索功能均為大語言模型優化了生成回答的準確性,對大語言模型的專業領域知識做了補充和改善。可以看到普通的大語言模型回答的是最簡短的,採用了知識庫的回答,將答案細分,擴充,並添加了新的內容,附上參考文獻。最後的聯網搜尋,將答案分為了幾類,更加全面,但是每類回答點到即止。最後就是向量知識庫進行最佳化。對於準確率低的查詢,分析模型回應錯誤的原因。如果是由於知識庫中缺少相關資訊,可以透過新增更多相關文件和資料來增強向量知識庫的覆蓋範圍。使用者反饋是對輸入的問題和產生的回答進行記錄,方便針對性進行調整。反饋可以直接用於指導向量知識庫的更新和最佳化。不斷地測試來完善我的專業領域大模型。最後一部分是我本次研究的總結。首先建立了一個能被大語言模型直接呼叫的專業知識庫,在電力LCA這個專業性較高的領域填補了大語言模型的空白。其次是採用RAG技術,將知識庫,聯網與大語言模型相結合,增強了大語言模型在特定領域的可信度和實用性。最後就是本次研究雖然是針對電力LCA領域,但其背後的構架適用於各個領域,構建了一個完整的體系,可以進行修改,全方面的輔助大語言模型,應用廣泛。以下就是我的全部研究內容請各位老師批評指正。
3.3.2 資料預處理
Unstructured 庫是一個強大的工具,專為處理非結構化資料設計,具體流程如圖 3.7 所示,
如從文字文件、PDF 檔案或網頁中提取資料。它支援多種資料提取方法,包括正則表示式匹配、自
然語言處理(NLP)技術等。
資料預處理步驟如下:
步驟一:資料清洗
去除雜質:從文字中去除無關的字元,如特殊符號、空白行等。
格式統一:將所有文字統一為相同的編碼格式,通常為 UTF-8,以避免編碼錯誤。
語言標準化:統一不同術語的使用,例如將所有“photovoltaic”統一替換為“PV”,確保術語的
一致性。
步驟二:資訊提取
。等件條驗實、論結要主、法方究研如,訊資鍵關的中獻文識標:識標訊資鍵關
。等果結究研、份年版出、者作如,類分料資將別型訊資據:類分料資
換轉化構結:三驟步
向上滑動顯示閱讀菜單

全京城的人都知謹王愛楚月離,愛得發狂。阿離六歲時,謹王為了救她差點命喪火海。 阿離十二歲時,謹王帶她馳騁沙場,為她打下北部一片江山。 阿離及笄時,謹王在勤政殿跪了三天三夜,求皇上賜婚。 所有人都以為,謹王將會一生一世寵溺阿離。 卻不想大婚前夕,瑞妃說:女子太受寵,便會不知天高地厚爬到男人頭上。 陸封謹覺得,母妃說的有道理。 於是在簪花宴上,他試着用訓狗的口吻說:想要本王的簪花,自己上前跪接! 可他萬萬沒想到,楚月離不僅沒有主動接他的簪花,甚至將她親手繡的香囊,送到他死對頭墨王的手上……
【女強 甜寵 醫妃 玄學 爽文】
玄門大師陸昭菱修復龍脈時被炸飛,穿越周朝。
靈魂不穩時撞進晉王懷裡,立刻給自己抱了一條大粗腿。
於是,陸家的災難開始了。
她屠版了京城小報頭條。
各行各業的惡魔紛紛瑟瑟發抖。
她的東西,誰碰誰倒霉,她的身份,誰占誰吃虧,她要保護的人,閻王也拿不去。
一眼看生死,一符去百病,一手掐霉運,還時不時看到財富,撿起來就不愁吃喝。
死後只剩下一塊牌位的太上皇:兒砸!聽她的!一定要讓她保我大周強盛!
晉王:王妃這麼強,本王的腿還抱着嗎?
【團寵三歲半+錦鯉+打臉爽文】在破道觀長大的三歲小魚寶下山釣魚,意外撿到被相府掃地出門的真千金親娘。她把心一橫,將病重的親娘和撿的小破爛打包套進麻袋,扭頭下山找爹去啦!可曾經煊赫一時的晉王府,如今早已失了聖心,人人喊打。絕嗣多年的晉王昏迷不醒,五個養子瘋的瘋,慘的慘,病的病,失蹤的失蹤,簡直天崩開局!小魚寶嘆氣:這個家沒我得散!於是她扛起麻袋,重操舊業,狂撿小破爛!*京城人人看笑話,都說晉王府要靠小乞丐撿垃圾苟活。可是這瓜越吃越不對頭!絕嗣晉王老婆孩子熱炕頭,五個養子一飛衝天!京城看笑話的臉都打腫了!誰能告訴他們!為什麼崽崽麻袋裡裝的都是救命的藥丸,高僧開光的佛珠,丟失的叛國證據?等等,這個傳國玉璽怎麼也從麻袋裡掏出來了!假千金尖叫:說好的撿破爛呢?!小魚寶吃着哥哥們挑好刺的魚肉糊糊,舔了舔嘴唇。那才不是破爛啦,都是寶中寶!都說小魚寶是錦鯉崽崽,撿破爛的小錦鯉也能旺家呀~
“溫婉”白切黑商賈女 :陸昭寧VS “體弱”腹黑世子:顧珩【純古言宅斗(無重生、無穿越、無金手指)+先婚後愛+雙潔】 陸昭寧送夫君平步青雲,加官進爵,卻換來他一句——商賈之女多算計。 成婚兩年,他惦記著白月光嫂嫂,不曾碰她。兄長死後,他迫不及待要給寡嫂一個孩子,還怪她不夠大度。 很好!陸昭寧轉頭便去救他那“已死”的兄長。 世人皆嘲她出身微賤,殊不知,她能醫死人,肉白骨! 她倒要看看,這場鬧劇,要如何收場…… …… 世人皆知,忠勇侯府的顧世子,驚才絕絕,俊美無雙,文能安邦定天下,只可惜自幼體弱多病。 唯一的污點就是,他強娶了弟弟之妻。 幾年後。 權傾朝野的男人每天準時下值,雷打不動,皇帝的面子都不給。 ——“廢話,媳婦總想逃,不早點回家,又跑了怎麼辦!” 每天睡到日上三竿的陸昭寧:說好的體弱多病呢?!
【女強 甜寵 醫妃 玄學 爽文】
玄門大師陸昭菱修復龍脈時被炸飛,穿越周朝。
靈魂不穩時撞進晉王懷裡,立刻給自己抱了一條大粗腿。
於是,陸家的災難開始了。
她屠版了京城小報頭條。
各行各業的惡魔紛紛瑟瑟發抖。
她的東西,誰碰誰倒霉,她的身份,誰占誰吃虧,她要保護的人,閻王也拿不去。
一眼看生死,一符去百病,一手掐霉運,還時不時看到財富,撿起來就不愁吃喝。
死後只剩下一塊牌位的太上皇:兒砸!聽她的!一定要讓她保我大周強盛!
晉王:王妃這麼強,本王的腿還抱着嗎?
“溫柔”白切黑商賈女 VS “體弱”腹黑世子
[純古言宅斗(無重生、無穿越、無金手指) 先婚後愛 雙潔】
陸昭寧送丈夫平步青雲,加官進爵,卻換來了他的一句話——商賈之女多算計。
結婚兩年後,他想起了白月光嫂子,從未碰過她。哥哥去世後,他迫不及待地想給寡嫂一個孩子,還怪她不夠大方。
非常好!陸昭寧轉身救了他“已死”的哥哥。
全世界都嘲笑她出身微賤,卻不知道,她能治死人,肉白骨!
她想看看,這場鬧劇,如何結束...
...眾所周知,忠勇侯府的顧世子驚才絕絕絕,英俊無雙,文能安邦天下,可惜自幼體弱多病。
唯一的污點是,他強娶了陸昭寧。
幾年後。權傾朝野的男人每天準時下值,雷打不動,皇帝的面子也不給。
——“胡說八道,媳婦總想逃跑,不早點回家,又跑了怎麼辦!”
前世。錦寧是永安侯府的直女。
秦天監早就預言她是天生鳳命。
每個人都認為她將成為未來的太子妃,最終登上鳳位。
她本該拿的是,千嬌百寵,榮華一生的劇本。
出乎意料的是,婚姻在即。
永安侯府真正的鳳命直女回來了。
從此,父母討厭她,哥哥討厭她,太子討厭她卑微的出身。
他們都把鳳命直女捧得高高的,然後斷了她的生路,逼她以死殉節。
重來一世。當有人想用一杯媚酒,讓她自斷鳳命。
想起前世,她為保名節自殺而死。
她想,這一次,她不要名節,她要活下去。
於是,她驚慌失措,跌入一人懷中,勾住那人的脖子,主動見面。
那人沉聲問:你知道我是誰嗎?
錦寧朦朧中,看到那人深邃冷肅的眼神,喃喃地喊道:陛下!
皇帝:既知我是誰,還不滾下去!
錦寧:求陛下...疼我。
皇帝...一夜春情,皇帝準備了一本書。
她不認賬,直到幾個月後,珠胎暗結...
前世,傅晚宜和程明川和睦相處了一輩子,兒孫滿堂,壽終正宿。
重生後,傅晚宜等到的是他要再娶繼妹的消息,前世恩愛的丈夫,夥同家人逼她嫁給攝政王府沖喜!
程明川說:“攝政王時間不多,不能和你圓房。他死後,我會娶你做貴妃。”
傅晚宜完全心冷!
“在攝政王府守寡,也比你的貴妃香!”
-洞房花燭夜,這位“時光無多”的攝政王神采奕奕。
把她放在床頭:“聽說你想守寡,信不信我讓你三年抱兩?”
傅晚宜原以為最好的夫妻是相尊如賓,誰料嫁給攝政王才知道有些夫妻是無恥的。
程明川發現侯府搖搖欲墜,前途諸事不順。
他跪在傅晚宜面前:“晚宜,我後悔了!”
攝政王覬覦傅晚宜多年,用盡一切手段,只為娶一位伯府小姐。
為了當年的驚鴻一瞥,江清婉隱姓埋名嫁入將軍府,花了半身修為幫秦家改命。
誰知男子曾經回到北京,帶回了美麗華貴的縣主。
婆婆明褒暗貶地逼她讓位,甚至喊了她五年母親的養子,也輕蔑地看着她。
“你是一個商女,怎麼配做我媽媽?”
看透一切的江清婉拋下一紙和離書,收回了對秦家的保佑,讓他們厄運纏身。
本想逍遙離京,卻遇到了身負怪命格的九王爺,竟能幫她恢復修養。
她成了九王爺的幕僚,京城謠言四起,都說她是王府的外室嬌娘。
男人冷着張俊美如仙的臉,充滿了厭惡。
“她只是我邀請的天師。”
後來,江清婉成了著名的東京神算,京中權貴紛紛跪求一卦。
前夫後悔不已,糾纏不清,一聲“婉婉”喊得真心切。
貴氣清冷的九王爺化身醋精加寵妻狂魔,抱着人的小腰宣誓主權。
什麼天師?這是他的小嬌娘。