1、問題一
LDA求出主題-詞 概率phi之后??梢灾烂總€主題下每個詞的概率,之后怎么確定每篇文檔的主題分布呢?
在 gibbs抽樣穩定之后,統計每篇文檔topic出現的頻率就可以算出來。
2、問題二
每個主題下的詞有可能是相同的,只是概率不同而已。統計時這個應該算在哪個主題下?
3、問題三
訓練集--維基百科數據集是 自己用爬蟲爬,還是直接下載。
4、問題四
LDA模型構建完后,可以估計每篇文檔的主題。但是之后要怎么知道當前輿論的熱點呢?
5、問題五
Elasticsearch 是用來存取新聞和微博模塊的數據,這樣我可以設置一個表,表中的每一項(url-主題-發布時間-爬取時間-作者-摘要)這樣搜索的時候就可以搜索出關于某個主題的所有url。
6、問題六
關于LDA的訓練集的問題。這個訓練集是自己爬取,然后分詞得到的。
7、問題七
怎么將輿情信息展示出來。(按爬取文檔的主題出現的概率排序)可以用圖表表示出所有主題出現的的概率。柱狀圖。
解決完這七個問題,整個系統基本成型
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。