Sayfalar

EDirect etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster
EDirect etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster

23 Eylül 2018 Pazar

Edirect kullanarak PubMed'in bir kopyasını oluşturdum

Zamanında ne çok uğraşmıştık. PubMed'in bir kopyasını çıkartacak metin madenciliği çalışmalarımızı bu kopya ile yapacaktık.

Bu konuda yapılmış çalışmalar vardı (Tools for loading MEDLINE into a local relational database) ama biz bunun yerine MEDLINE formatında yıl yıl tüm veritabanını taramış ve tüm verileri .txt olarak indirmiştik.

Sonra uzun uğraşılar ile bunu bir oracle veritabanına dönüştürmüş ve SQL ile taranabilir hale getirmiştik. Bir de poster yapmıştık bu veri ile.

Sonra devam edemedik, verilerin olduğu bilgisayarda trajikomik bir şekilde sırra kadem bastı. Hayatımın en garip ve hayretamiz döneminde bu kaybolan veriyi tekrar bulmak için beklerken Edirect ile lokal PubMed verisi oluşturulabileceğini öğrendim.

Az önce yaklaşık 250 GB büyüklüğündeki lokal kopyayı oluşturmam bitti ve ilk taramalara başladım.
XML ile de öğreneceğim çok şey var daha.


Using EDirect to create a local copy of PubMed - The Insider's Guide to Accessing NLM Data - National Library of Medicine



10 Temmuz 2018 Salı

R Markdown'da PubMed'e referans vermek


R Markdown'da PubMed'e referans vermek mümkün. bunun için RefManageR paketini kullanmak gerekiyor.
Benim yazabildiğim kod şöyle:

```{r PubMed references}
PMID_25783680 <- RefManageR::ReadPubMed("25783680", 
database = "PubMed")
cit_25783680 <- paste0(PMID_25783680$title, " ", 
PMID_25783680$journal, " ", "PMID: https://www.ncbi.nlm.nih.gov/pubmed/?term=", 
PMID_25783680$eprint, " ", "doi: https://doi.org/", 
PMID_25783680$doi)
```
My next citation is here^[`r cit_25783680`].
http://markup.su/highlighter/







30 Haziran 2018 Cumartesi

Otomatik olarak R ile günlük analiz yapıp git ile güncelleyin

Bu kodları çok farklı sayıda blog ve yazıdan derledim :)

Hedefim şu. Elimde bir R Markdown ya da R Notebook dökümanı var. Bunu belirli periyotlarla çalıştırıp güncel analizi git komutları ile github sayfama yüklemek istiyorum.

Böylece belirli bir API'den çektiğim veriyi belirli periyotlarla analiz edebileceğim.
Bu şekilde PubMed verisi üzerinde güncel analizlerimi oluşturmaya başladım.

Örnek otomatik analizler:
https://sbalci.github.io/pubmed/SchedulePubMedAnalysis.nb.html 

Örnek PubMed analizleri:
https://sbalci.github.io/ResearchOnBibliography/

1) R-project kodunu belirli periyotlarla çalıştırmak için RStudio'nun eklentilerini kullanıyorum:





Böylece aşağıdaki R dosyasını otomatik olarak belirli periyotlarla çalıştırmak mümkün.

2) Otomatik çalışan bu R kodunu kullanarak analizimi içeren R Markdown dosyasını çalıştırıp html çıktısını oluşturuyorum:

library(rmarkdown)
library(pander)
rmarkdown::render(input = "ScheduledAnalysis.Rmd",
output_format = "html_notebook",
output_file = "docs/ScheduledAnalysis.html",
quiet = TRUE)









3) Aynı R kodu içinde rstudioapi paketi ile de comand line, bash, terminal komutlarını da otomatik olarak çalıştırmak mümkün. Böylece git push da aynı anda yapılabiliyor.

library(rstudioapi)
CommitMessage <- paste("updated on ", Sys.time(), sep = "")
gitCommand <- paste("git add . \n git commit --message '",
CommitMessage,
"' \n git push origin master \n", sep = "")
gitTerm <- rstudioapi::terminalCreate(show = FALSE)
rstudioapi::terminalSend(gitTerm, gitCommand)











10 Haziran 2018 Pazar