Ako importujem údaje o pozorovaní UFO z internetu do tabuľky Google

Reklama

Pokiaľ ide o online databázy a informácie, ktoré možno nájsť v rámci toho, čo je bežne známe ako „neviditeľný web 12 najlepších vyhľadávacích nástrojov na objavovanie neviditeľného webuGoogle alebo Bing nedokážu vyhľadať všetko. Ak chcete preskúmať neviditeľný web, musíte použiť tieto špeciálne vyhľadávacie nástroje. Čítaj viac “, nie som váš typický používateľ. Iste, trávim priveľa času prehľadávaním online databáz na miestach, ako sú Národné archívy a čítanie FOIA od CIA miestnosti, ale musím povedať, že nič ma nevzrušuje viac, ako keď nájdem tabuľku založenú na HTML, ktorá je plná množstva zdanlivo zložitých a neprepojených údajov.

Faktom je, že dátové tabuľky sú zlatou baňou dôležitých právd. Dáta často zbierajú armády zbierajúcich dát s topánkami na zemi. Máte ľudí z amerického sčítania ľudu, ktorí cestujú po celej krajine za informáciami o domácnosti a rodine. Máte neziskové environmentálne skupiny, ktoré zbierajú najrôznejšie zaujímavé informácie o životnom prostredí, znečistení, globálnom otepľovaní a ďalších. A ak máte radi paranormálne javy alebo ufológiu, sú tu aj neustále aktualizované tabuľky s informáciami o pozorovaní zvláštnych objektov na oblohe nad nami.

Je iróniou, že by ste si mysleli, že ktorúkoľvek vládu na svete by zaujímalo, aký druh cudzie plavidlá vidno na oblohe nad ktoroukoľvek krajinou, no zjavne nie – aspoň nie v USA. tak či tak. V Amerike bola zbierka nezvyčajných pozorovaní remesiel odkázaná na tímy amatérskych nadšencov, ktorí sa hrnú na nové pozorovania UFO ako mory v plameňoch. Môj záujem o tieto pozorovania v skutočnosti nevyplýva z fascinácie mimozemšťanmi alebo remeslami z iných planét, ale z vedeckej fascinácie vzormi – kde a prečo viac ľudí vidí veci na oblohe a či by tieto pozorovania mohli odrážať niečo veľmi skutočné a oveľa prízemnejšie, na.

Aby som preskúmal objemy údajov zhromaždených tímami nadšencov UFO, vyvinul som spôsob, ako importovať veľké HTML tabuľky údaje do tabuľky Google a potom s nimi manipulujte a analyzujte ich, aby ste získali a objavili zmysluplné a dôležité informácie. V tomto článku vám chcem ukázať, ako urobiť to isté.

Dôležité údaje HTML do tabuľky Google

V tomto príklade vám ukážem, ako importovať všetky údaje, ktoré môžu byť uložené v tabuľke na ľubovoľnej webovej lokalite na internete, do tabuľky Google. Zamyslite sa nad obrovským objemom údajov, ktoré sú dnes dostupné na internete vo forme tabuliek HTML. Samotná Wikipedia má údaje v tabuľkách pre témy ako globálne otepľovanie, Americký úrad pre sčítanie ľudu má tony populačné súbory údajov, a trochu Google vám pristane oveľa viac.

V mojom príklade začínam s databázou v National UFO Reporting Center, ktorá v skutočnosti vyzerá, že by to mohla byť hĺbková webová databáza v štýle dotazov, ale ak si všimnete Štruktúrovanie adries URL je v skutočnosti polokomplexný webový systém správ, ktorý pozostáva zo statických webových stránok a statických tabuliek HTML – presne to, čo chceme pri hľadaní údajov importovať.

NUForc.org je jednou z tých organizácií, ktoré slúžia ako jedno z najväčších spravodajských centier pre pozorovania UFO. Nie je jediný, ale je dostatočne veľký na to, aby každý mesiac našiel nové súbory údajov s aktuálnymi pozorovaniami. Vyberiete si zobrazenie údajov zoradených podľa kritérií, ako je štát alebo dátum, pričom každé z nich sa poskytuje vo forme statickej stránky. Ak zoradíte podľa dátumu a potom kliknete na najnovší dátum, uvidíte, že uvedená tabuľka obsahuje statickú webovú stránku pomenovanú podľa formátu dátumu.

Takže teraz máme vzor na pravidelné extrahovanie najnovších informácií o pozorovaní z tejto databázy založenej na HTML. Všetko, čo musíte urobiť, je importovať prvú tabuľku, na identifikáciu použiť najnovší záznam (vrchný). najnovšiu aktualizáciu a potom použite dátum tohto uverejnenia na vytvorenie odkazu URL, kde je tabuľka najnovších údajov HTML existuje. Bude to jednoducho vyžadovať niekoľko inštancií funkcie ImportHTML a potom niekoľko kreatívnych použití funkcií manipulácie s textom. Keď skončíte, budete mať jednu z najúžasnejších, samostatne sa aktualizujúcich tabuliek prehľadov. Začnime.

Import tabuliek a manipuláciu s údajmi

Prvým krokom je samozrejme vytvorenie novej tabuľky.

Ako teda importujete tabuľky HTML? Všetko, čo potrebujete, je adresa URL, na ktorej je tabuľka uložená, a číslo tabuľky na stránke – zvyčajne prvá uvedená je 1, druhá je 2 atď. Keďže poznám adresu URL prvej tabuľky so zoznamom dátumov a počtov uvedených pozorovaní, je možné importovať zadaním nasledujúcej funkcie do bunky A1.

=importhtml(“ http://www.nuforc.org/webreports/ndxpost.html?”&H2,”table”,1)

H2 má funkciu „=hodina (teraz())“, takže tabuľka sa bude aktualizovať každú hodinu. Toto je pravdepodobne extrém pre údaje, ktoré to aktualizujú len zriedka, takže by som to mohol robiť každý deň. V každom prípade, vyššie uvedená funkcia ImportHTML prináša tabuľku, ako je uvedené nižšie.

Než budete môcť poskladať URL pre druhú tabuľku so všetkými pozorovaniami UFO, musíte na tejto stránke urobiť trochu manipulácie s údajmi. Ale pokračujte a vytvorte druhý list v zošite.

Predtým, ako sa pokúsite vytvoriť druhý hárok, je čas extrahovať dátum príspevku z tejto prvej tabuľky, aby ste vytvorili prepojenie na druhú tabuľku. Problém je v tom, že dátum je uvedený vo formáte dátumu, nie ako reťazec. Takže najprv musíte použiť funkciu TEXT na konverziu dátumu odoslania správy na reťazec:

=text (A2,”mm/dd/rr”)

V ďalšej bunke napravo musíte použiť funkciu SPLIT s oddeľovačom „/“ na rozdelenie dátumu na mesiac, deň a rok.

=split (D2”/”)

Dobre vyzerajúci! Každé číslo je však potrebné vynútiť na dve číslice. Urobíte to v bunkách priamo pod nimi znova pomocou príkazu TEXT.

=text (E2,”00″)

Formát „00“ (sú to nuly) vyžaduje dve číslice alebo „0“ ako zástupný znak.

Teraz ste pripravení prebudovať celú URL na najnovšiu HTML tabuľku nových pozorovaní. Môžete to urobiť pomocou funkcie CONCATENATE a spojením všetkých bitov informácií, ktoré ste práve extrahovali z prvej tabuľky.

=concatenate(“ http://www.nuforc.org/webreports/ndxp”,G3,E3,F3,”.html”)

Teraz na novom hárku, ktorý ste vytvorili vyššie (prázdny hárok), urobíte novú funkciu „importhtml“, ale tentoraz po prvýkrát Parameter odkazu na URL, takže sa vrátite späť do prvej tabuľky a kliknete na bunku s odkazom na URL, ktorý ste práve vytvorili.

Druhý parameter je „tabuľka“ a posledný je „1“ (pretože tabuľka pozorovaní je prvá a jediná na stránke). Stlačte Enter a teraz ste práve importovali celý objem pozorovaní, ktoré boli zverejnené v daný dátum.

Takže si pravdepodobne myslíte, že je to pekná novinka a všetko – koniec koncov, to, čo ste urobili, je extrahované existujúce informácie z tabuľky na internete a migrovali ich do inej tabuľky, aj keď súkromnej vo vašich Dokumentoch Google účtu. Ano to je pravda. Teraz, keď je to vo vašom súkromnom účte služby Dokumenty Google, máte na dosah ruky nástroje a funkcie na lepšiu analýzu týchto údajov a začatie objavovania úžasných spojení.

Použitie kontingenčných zostáv na analýzu importovaných údajov

Len nedávno som napísal článok o používaní Kontingenčné zostavy v tabuľke Google Staňte sa cez noc expertným analytikom údajov pomocou nástrojov na vytváranie prehľadov tabuliek GoogleVedeli ste, že jedným z najlepších nástrojov na analýzu údajov je vlastne tabuľka Google? Dôvodom nie je len to, že dokáže takmer všetko, čo by ste chceli... Čítaj viac vykonávať všetky druhy skvelých funkcií analýzy údajov. Rovnakú úžasnú akrobaciu analýzy údajov môžete vykonať na údajoch, ktoré ste importovali z internetu – dáva vám možnosť odhaliť zaujímavé súvislosti, ktoré možno ešte nikto neodhalil vy.

Napríklad z tabuľky konečných pozorovaní by som sa mohol rozhodnúť použiť hlavnú správu, aby som sa pozrel na počet rôzne jedinečné tvary hlásené v každom štáte v porovnaní s celkovým počtom pozorovaní v tomto konkrétnom štáte štát. Nakoniec som v sekcii komentárov odfiltroval všetko, čo sa týkalo „mimozemšťanov“, aby som, dúfajme, vylúčil niektoré z ďalších wingnutových záznamov.

To skutočne odhaľuje niekoľko celkom zaujímavých vecí hneď na začiatku, ako napríklad skutočnosť, že Kalifornia má jednoznačne najvyššie počet hlásených pozorovaní akéhokoľvek iného štátu spolu s rozlíšením hlásenia najvyššieho počtu tvarov plavidiel v krajina. To tiež ukazuje, že Massachusetts, Florida a Illinois sú veľkými útočníkmi aj v oddelení pozorovania UFO (aspoň podľa najnovších údajov).

Ďalšou skvelou vecou na tabuľke Google je široká škála dostupných grafov vrátane geografickej mapy, ktorá vám rozmiestnite „horúce miesta“ údajov v grafickom formáte, ktorý skutočne vyniká a vytvára tieto spojenia v rámci údajov celkom zrejmé.

Ak sa nad tým zamyslíte, toto je naozaj len špička ľadovca. Ak teraz môžete importovať údaje z údajových tabuliek na ľubovoľnej stránke na internete, pomyslite na možnosti. Získajte najnovšie čísla akcií alebo najnovších 10 najlepších kníh a autorov na zozname bestsellerov New York Times alebo najpredávanejšie autá na svete. Existujú HTML tabuľky na takmer akúkoľvek tému, ktorú si dokážete predstaviť, a v mnohých prípadoch sú tieto tabuľky často aktualizované.

ImportHtml vám dáva možnosť pripojiť svoju tabuľku Google na internet a načítať údaje, ktoré tam existujú. Môže sa stať vašim osobným centrom informácií, ktoré môžete použiť na manipuláciu a masírovanie do formátu, s ktorým môžete skutočne pracovať. Je to len ďalšia skvelá vec, ktorú si na tabuľke Google zamilujete.

Už ste niekedy importovali údaje do svojich tabuliek? Aké zaujímavé veci ste v týchto údajoch objavili? Ako ste použili údaje? Podeľte sa o svoje skúsenosti a nápady v sekcii komentárov nižšie!

Poďakovanie za obrázky: Obchodný graf