Robiť vedu o dátach v cloude pomocou ScraperWiki

Reklama

Ak máte mentálne kotlety, chuť na programovanie a rozprávanie príbehov a oko na dizajn, môžete urobiť horšie, ako sa dostať do vedy o údajoch. Je to nová veľká vec v technológii; vysoko trendy a vysoko platené, vedci v oblasti údajov vyhľadávajú niektoré z najväčších spoločností na svete.

ScraperWiki je spoločnosť, ktorá sa už dlho spája s oblasťou údajov. Toto spustenie založené na Liverpoole už niekoľko rokov ponúka platformu pre programátorov na písanie nástrojov na získavanie údajov, ich čistenie a analýzu v cloude.

S nedávnym obnovením a neustále rastúcim dopytom po údajových vedcoch v podniku sa oplatí sa pozrieť na ScraperWiki.

Úplné zverejnenie: Minulé leto som bol stážistom na ScraperWiki.

Čo robí ScraperWiki?

ScraperWiki sa predáva ako miesto na získavanie, čistenie a analýzu údajov a poskytuje výsledky v každom z nich. Vo svojej najjednoduchšej podobe vám - používateľovi - umožňuje miesto, kde môžete písať kód, ktorý načíta údaje zo zdroja, nástroje na konverziu do formátu, ktorý sa dá ľahko analyzovať, a uloženie, aby sa uchovalo pre neskoršiu vizualizáciu - s ktorou môžete tiež pracovať pomocou ScraperWiki.

Dodáva sa tiež s množstvom preddefinovaných nástrojov, ktoré automatizujú opakujúce sa úlohy vrátane získavanie údajov z PDF, ktoré je notoricky ťažké dekódovať. To je navyše k Vyhľadávanie na Twitteri 5 skvelých trikov na Twitteri na sledovanie toho, čo o vás ľudia hovoriaAk vlastníte webovú stránku alebo sa len snažíte zarábať peniaze online ako nezávislý pracovník, vždy je dobré vedieť, čo o vás ľudia hovoria cez internet. Ľudia môžu citovať ... Čítaj viac a škrabanie nástroje. Na ich použitie nepotrebujete žiadne skúsenosti s vývojom softvéru.

náklady

Ako už bolo spomenuté, ScraperWiki zahŕňa model stanovenia cien freemia a ponúka službu, ktorá má viac úrovní. Tí, ktorí len začínajú s vedou o údajoch alebo s obmedzenými potrebami, môžu využiť bezplatnú službu. Získate tak tri súbory údajov - kde ukladáte svoje údaje a kód.

Tí, ktorí plánujú napísať viac škrabiek alebo chcú robiť analýzy údajov v horách, môžu získať peniaze na prémiový účet. Začínajú na 9 dolárov mesačne a ponúkajú 10 súborov údajov. Ak to stále nestačí, môžete vždy upgradovať na najvyššiu úroveň, ktorá prichádza so 100 súbormi údajov a stojí 29 dolárov mesačne.

kódovanie

Programátori sú často veľmi konkrétni, pokiaľ ide o to, ako kódujú. Niektorí uprednostňujú skriptovacie jazyky pred kompilovanými jazykmi. Niektorí uprednostňujú skúsenosť pared-back textového editora pred integrovaným vývojovým prostredím (IDE). ScraperWiki to uznáva a dáva užívateľovi obrovský výber, pokiaľ ide o spôsob písania kódu.

Ak ste tak naklonení, môžete svoj kód napísať do prehliadača. Ako by ste očakávali od akejkoľvek profesionálnej triedy, webový Top 3 prehliadače založené IDE je kód v cloude Čítaj viac vývojový nástroj, prichádza s funkciami, ktoré by ktorýkoľvek programátor považoval za nevyhnutné, napríklad zvýraznenie syntaxe.

V ponuke je niekoľko jazykov. Tie obsahujú krajta 5 najlepších webových stránok, kde sa môžete naučiť programovanie v PythoneChcete sa naučiť programovanie Pythonu? Toto sú najlepšie spôsoby, ako sa naučiť Python online, z ktorých mnohé sú úplne zadarmo. Čítaj viac , populárny skriptovací jazyk, ktorý používajú ľudia ako Google a NASA; rubín 3 interaktívne, zábavné a bezplatné spôsoby, ako začať učiť programovací jazyk RubyRuby je výrazný skriptovací jazyk na vysokej úrovni. Používa sa na webe hlavne ako súčasť rámca pre vývoj webových aplikácií Ruby on Rails, ale tiež ako samostatný nástroj. Ak vás zaujíma, čo Ruby (nie ... Čítaj viac , ktorý ovláda niekoľko populárnych webových stránok, napríklad Living Social; a populárny jazyk štatistickej analýzy, R.

Okrem toho môžete tiež písať kód z príkazového riadku pomocou SSH, Git a akéhokoľvek textového editora, ktorý vás baví. Áno, čítate to správne. SSH Čo je SSH a ako sa líši od FTP [vysvetlenie technológie] Čítaj viac . Každé pole, ktoré použijete, má svoj vlastný účet v systéme Linux a môžete sa k nemu pripojiť rovnako ako v prípade účtu VPS alebo iného shellového účtu. K dispozícii je niekoľko textových editorov vrátane elán Top 7 dôvodov, prečo dať Vim Text Editor šancuCelé roky som vyskúšal jeden textový editor za druhým. Vy ste to pomenovali, skúsil som to. Každý z týchto editorov som používal viac ako dva mesiace ako svoj hlavný denný editor. Nejako ... Čítaj viac ktoré je možné rozšíriť pomocou doplnkov a úpravou konfigurácie. Tí, čo Vim zastrašujú, môžu použiť Nano, čo je ľahký textový editor príkazového riadku.

Nainštalované knižnice by mali stačiť na písanie nástrojov na získavanie a spracovanie údajov. Ak potrebujete niečo trochu temnejšie, môžete z príkazového riadku vždy vytvoriť virtuálny súbor. Ako vidíte, vývojárom existuje obrovská flexibilita.

Vizualizácia dát

Máte teda svoje údaje. Normalizovali ste to. Vyčistili ste to. Analyzovali ste to. Teraz je čas urobiť nejakú vizualizáciu a ukázať svetu, čo ste sa naučili.

ScraperWiki umožňuje vývojárom zobrazovať svoje údaje pomocou webových stránok vytvorených zo všetkých známych trifektov HTML, CSS a JavaScript. Komponenty Bootstrap sú okrem toho podporované už po vybalení.

K dispozícii je niekoľko vopred pripravených vizualizácií vrátane tých, ktoré vykresľujú vaše údaje na mape a nachádzajú trendy vo vašich zisteniach. Ak ich chcete použiť, musíte zabezpečiť, aby boli vaše údaje uložené ako súbor SQLite s názvom „scraperwiki.sqlite“. Potom jednoducho pridáte vizualizáciu, ktorá vás zaujíma. Jednoduché, však?

záver

ScraperWiki ponúka veľa vývojárom, ktorí chcú urobiť nejakú analýzu údajov bez toho, aby sa im bránilo vývojové prostredie, a zároveň majú flexibilitu, aby uspokojili aj tých najnáročnejších používateľov. Ale čo myslíš? Dajte mi vedieť v komentároch nižšie.
Fotografický kredit: Rocket Science (Dan Brown)