【基因數據預處理以及可視化分析案例2400字】

1 1 21.3篩選差異表達基因方法 3 5/inputPermission圖3-1文件目錄本次實驗所使用的數據集是geo(GENEEXPRESSIONOMNIBUS)數據庫編號為GSE7846的數據集，該數據集分析了5組來自子宮內膜異位患者的陣列HEECs(內皮細胞)和5組來自無子宮內膜異位患者的HEECs。一共有十個樣本信息，從GSM190395到GSM190404,其中前五份樣本是患病的基因表達強度信息，后五份樣本是正常的基因表達強度信息，GEO數據庫中提供的矩陣文件包括了這10列樣本的所有數據，如圖3-2所示：2"1053_at"106.85279.031692.72485.1264145."117_at"6.921284.087138.8237110.0574.754056.051498.258055.5圖3-2原始數據從geo數據庫中得到了矩陣數據之后，查看該數據發現不僅有我們實驗所需的一個就是SparkSession,通過如下命令可以獲取SparkSession:varconf=newSparkConf().setAppName(“spark”).setMaster(“local”)varsparkconf=SparkSession.builder.config(conf).getOrCre據內存操作時都具備很高的靈活性。DataFrame據在分布式系統進行轉化，但是RDD卻因為沒有合適的引擎，所以在面對結構化的數據是就顯得比較無能為力。Dataframe的數據結構和RDBMS的表非常相和Cassandra都可以在DataFrame上處理，一般的數據庫也可以由DataFrame管在為實驗數據生成了相應的DataFrame之后，把數據中與實篩選掉，經查閱，無用信息都在數據的前60行，所以可以用DataFrame的filter方法對數據進行篩選，篩選結果如圖3-3所示I"117_at"|6.921283結果就是圖上的點基本上都分布在y=x的直線上，取患病列GSM190395和正常列GSM190400做散點圖，橫坐標代表GSM190395樣本的基因表達強度，縱坐標代表GSM190400樣本的基因表達強度。結果如圖3-4所示：0的數據分析之前，數據歸一化(Normalization)這一步操作都是不能省略的，歸機梯度下降模型的收斂，提高模型的精度。Spark提供了Normalizer方法對數據進行歸一化處理，歸一化結果如圖3-5所示：[8.09437581745964848,8.18466872411883326,8.11623692651886797,8.11165365224266989,8.11582639784515947,0,87448194945629137,0.8786768497579555,8.11948213385284536,8.1114對具有生物學意義的經濟性狀或疾病的分子基礎研究已不再局限于單個基因的功能分析，而必須識別和分析調控某一性狀或疾病的整個基因網絡錯誤!未找到4在早期的篩選差異表達算法中，FC是被提出來中用的比較多的方法之一，據集x?,正常樣本基因數據集x?,分別計算基因i在各患病樣本中的平均表達值(公式3-1)如果FC值大于閾值，則將基因i歸類為差異表達基因。閾值可根據研究者的目的設定，如選擇2則代表差異表達為2倍以上，以此類推。由于兩組比較樣更清晰的知道差異情況，通常將FC值做log2轉化，如轉化后要篩選表達強度為2倍以上則可以設定log?fc>1。t檢驗法是一種用于發現兩組樣本的差異表達基因的統計推斷技術，通常用n?個正常樣本。那么對于基因i,計算t統計量如3-2公式所示：p值是一個概率，計算公式為：p=2×p{t>ti},因素造成的。那么當設定置信度為95%時，當計算得到p<0.05時，就拒絕H?假表3-1是p值范圍不同代表的意思：統計意義于5%不能否定H?假設兩組差別無顯著意義偶然發生的概率小可以否定H?假設兩組差別有顯著意5P<0.01偶然發生的概率小可以否定H?假設兩者差別有非常顯