Cheat Sheet per i comandi HDFS Hadoop
HDFS è ora un sottoprogetto Apache Hadoop. Un’istanza HDFS contiene una grande quantità di server e ognuno memorizza una parte del file system. Una tipica dimensione di file in HDFS sarebbe in gigabyte o terabyte, quindi le applicazioni avranno set di dati di grandi dimensioni. Un file una volta creato non ha bisogno di essere modificato, cioè funziona con il modello ad accesso multiplo write-once-read-multiple-access.
Un cluster HDFS è costituito da un server master (namenode) che gestisce lo spazio dei nomi del file system e controlla l’accesso ai file. E altri nodi nei server del cluster come nodi di dati che gestiscono l’archiviazione collegata ai nodi e sono anche responsabili della creazione/eliminazione/replicazione dei blocchi come indicato dai namenodes. HDFS è codificato in Java, quindi tutti i nodi che supportano Java possono eseguire applicazioni nameNode o dataNode.
Questo tutorial fornisce un cheat sheet per i comandi Hadoop HDFS. Questo sarà molto utile quando si lavora con questi comandi su Hadoop Distributed File System). In precedenza hadoop fs era usato nei comandi ora deprecati, quindi usiamo hdfs dfs. Tutti i comandi Hadoop vengono richiamati dallo script bin/hadoop. Questo cheatsheet contiene diversi comandi, direi quasi tutti i comandi che vengono spesso utilizzati da uno sviluppatore Hadoop oltre che dall’amministratore. È abbastanza completo, ho anche mostrato tutte le opzioni che possono essere utilizzate per lo stesso comando. In ogni caso, durante l’esecuzione di un comando ricevi un errore, non farti prendere dal panico e controlla semplicemente la sintassi del comando, potrebbe esserci un problema di sintassi del comando o potrebbe essere un problema con l’origine o la destinazione che hai menzionato.
Abbiamo raggruppato gli ordini nelle seguenti categorie:
1) Elenca i file
2) Leggere/Scrivere file
3) Carica/Scarica file
4) Gestione degli archivi
5) Proprietà e convalida
6) Sistema di file
7) Amministrazione
È possibile scaricare la versione pdf del cheat sheet del comando hdfs di Hadoop o il file immagine A4 stampabile da qui.
Conclusione
Tieni questo volantino A4 stampato sulla tua scrivania, sono sicuro che li imparerai velocemente e diventerai un esperto di Hadoop molto presto. Tienici informati se hai bisogno che aggiungiamo altri comandi. I comandi sono classificati in 7 sezioni in base al loro utilizzo.
