Hive Data Typer Binære Alternativer

Jeg lurer på om det er noen måte å faktisk laste inn CSV-data i et binært Hive-format - det vil si det samme som datainnlasting i en relasjonsdatabase ville gjøre: parsing og skriv konvertering av inngang og lagring av det i et binært format (i en annen binærformat fil i tilfelle Hive). Hive-referansen sier at innlastingskommandoen for lastdata ikke gjør noen transformasjon, så jeg mistenker at typene ikke konverteres, f. eks. fra streng til heltall. Jeg leste om OCR og RCFile formater, men jeg kunne ikke finne ut om, for eksempel strengverdier fra CSV-typen er konvertert til maskinens integerverdier og lagret i HDFS. Er det tilfelle Hvilke andre muligheter er det for å lage binære representasjoner av CSV-filer i Hive I et beslektet notat: Jeg mistenker at Hive konverterer strengverdier til maskinrepresentasjoner under spørringsbehandling og er ikke f. eks. sammenligner strengverdier - er denne antagelsen rett spurte 6 mai 13 kl 15:59 Som standard lagrer Hive bare filer som vanlige tekstfiler og lagrer poster som ren tekst, alle ukomprimerte. Det bruker ASCII 0x1 for en felt separator som er mer praktisk enn et komma for noen innganger, men jeg er sikker på at du har jobbet ut hvordan du får Hive til å jobbe med kommaseparerte verdier. Hvis du vil at Hive skal bruke et annet filformat, serialiseresialiseres annerledes, eller komprimerer dataene du har noen forskjellige alternativer til å leke med. Ut av boksen støtter Hive flere forskjellige filformater: TEXTFILE. SEQUENCEFILE. og RCFILE. Forskjellene mellom har å gjøre med hvordan filer leses, deles og skrives. TEXTFILE er standard og opererer på vanlige tekstfiler. SEQUENCEFILE er et binært nøkkelverdierparformat som lett forbrukes av andre deler av Hadoop økosystemet. Og RCFILE er en kolonneorientert måte å lagre Hive-tabeller på. I tillegg til dette filformatet kan du skrive din egen eller finne de andre som har skrevet for å møte ulike behov. I tillegg til filformatet dine data i lagret i, kan du bestemme hvordan poster i et bord skal serialiseres og deserialiseres ved å spesifisere en SerDe. Hive 0.9.1 og over kommer fullpakket med en AvroSerDe. og Avro lagrer data i et binært format (det har også et skjema i seg selv som introduserer noen komplikasjoner). Et Google-søk etter binær binær SerDe avslørte en LazyBinarySerde som høres ut som en mer enkel måte å lagre i et binært format. Og hvis du ikke finner noe som passer dine behov, kan du alltid skrive din egen SerDe. Jeg antar at spørsmålet ditt passer inn i den store konteksten av hvordan du gjør Hive-tabeller mindre og mer utøvende. Til dette formål kan du bruke komprimering på toppen av alt jeg har nevnt ovenfor. For å oppnå dette, må du bare fortelle Hive å komprimere utdataene og fortelle det som codec skal komprimere ved hjelp av følgende kommandoer: Du kan endre dette i konfigurasjonsfilene dine hvis du vil at denne innstillingen skal fortsette utenfor sesjonen (inkludert andre folk Hive og MapReduce jobber hvis du deler en klynge). Jeg bruker SnappyCodec fordi den fungerer med Hive ut av esken, er splittable, og gir god komprimeringskomprimering for CPU-tid brukt. Du kan bestemme at en annen kodek passer bedre til dine behov. Nå, hvordan bruker du alle disse alternativene hvis alle dataene dine er i et CSV-format Den enkleste måten er å lage et bord på toppen av CSV-filene, og opprett en annen tabell med filformatet og SerDe du vil ha, og sett deretter dataene fra CSV-støttet bord i det nye bordet (sørg for at du komprimerer din Hive-utgang med ditt valgkode). Under hetten vil Hive passe på å lese dataene fra ett format (CSV) og skrive til et annet (uansett hva du har bestemt). Etter dette vil du ha en duplikat av dataene, og du kan slippe CSV-filene hvis du ønsker det. Eksemplet ovenfor viser hvordan du kan dra nytte av alle tilgjengelige alternativer, men ikke tenk på det som en standard, rimelig brukstilstand. Les opp på de forskjellige filformatene SerDes komprimerings kodeker og gjør noen ytelsestest for å avgjøre din tilnærming. I Hive lagrer du Filer i HDFS og legger til metadata for å fortelle Hive hvilken type felt venter du på å være i hver posisjon i filen ( separator og avgrensere i tekstfil, rader i forskjellige binære formater.) Du kan generere din egen utgang og bruke den med Input og Outpu formater. Kan konvertere bilder til, som eksempel BASE64 som et vedlegg og bruke en TextFile. Mange muligheter, men ikke en forespørsel om å lagre bilder. Du kan ha, for å fortsette TextFile-eksempelet, men det er ikke den beste metoden, en fil med dette formatet: Og last inn i bikube: Hvis du bruker en versjon av Hive 0.8, kan du bruke DataType BINARY i tabelldefinisjonen og laste den. Hive blasts over 25, backtested høy kvalitet handel signaler per dag i medlemmene området. Disse er basert på vår proprietære algoritmer som viser en gjennomsnittlig vinnersats på 65 år med testing og data. Community Chat The Hive tilbyr et live chat rom hvor du kan chatte med andre handelsfolk og diskutere alle ting relatert til binære alternativer og markedene generelt. Du kan også verifisere signaler med seniorhandlere for å øke ITM. Følg Leader The Hive gir deg også mulighet til å abonnere på betalte signalstrømmer av stjernehåndsvalgte binære opsjonshandlere med revidert track record. Hvis robotsignaler ikke er nok, eller du foretrekker menneskelig berøring, følg lederne. Transparent Transparens er viktig for oss, og det er derfor signalvinduet blir kontinuerlig oppdatert, og ingen tap blir gjemt. Din ytelse er vår ytelse, og vi viser aldri falske eller utjevnede resultater.