Ποια είναι η διαφορά μεταξύ ενός μηχανικού Big Data, ενός μηχανικού δεδομένων και ενός μηχανικού αποθήκης δεδομένων;


Απάντηση 1:

Οι ρόλοι εργασίας:

Μπορείτε εύκολα να ελέγξετε τις διαφορές όταν πηγαίνετε στο Σύνδεση ή Εγγραφή (LinkedIn), για παράδειγμα:

Μηχανικός αποθήκης δεδομένων

  • Οι κορυφαίες δεξιότητες: αποθήκευση δεδομένων και βάσεις δεδομένων, ETL, μοντελοποίηση δεδομένων, BILanguages: SQLSalary: 110.738 δολάρια / έτος (Αναζήτηση εργασίας | Πράγματι για τις ΗΠΑ), 133.000 δολάρια / έτος (ανώτερος υπάλληλος στις ΗΠΑ, PayScale - Σύγκριση μισθοδοσίας, ) Κορυφαίες εταιρείες: IBM, Microsoft, Amazon, Oracle, Tata Consultancy Services
  • Βασική γραμμή: Παρέχετε υποστήριξη σε προγραμματιστές, αναλυτές, επιστήμονες δεδομένων ... σε αλληλεπίδραση με συστήματα DW / BI. Διατηρήστε την υποδομή DW / BI, συμπεριλαμβανομένης της βελτιστοποίησης της απόδοσης, της παρακολούθησης της ακεραιότητας των δεδομένων, της διαχείρισης της ικανότητας και της διαχείρισης της αξιοπιστίας.

Μηχανικός δεδομένων

  • Οι κορυφαίες δεξιότητες: μεγάλα δεδομένα, μηχανική μάθηση, μοντελοποίηση δεδομένων, ETL, λύσεις αποθήκευσης δεδομένων & βάσεις δεδομένωνΓλώσσες: Hadoop, Python, SQL, Java, Spark, Hive, ScalaSalary: $ 107.000 / έτος (Σύνδεση ή Εγγραφή (LinkedIn) έτος (μέσος μισθός, PayScale - Σύγκριση μισθών, έρευνα μισθών, μισθοί αναζήτησης) Top εταιρείες: IBM, Microsoft, Amazon, Cisco, Google
  • Βασική γραμμή: ανάπτυξη, κατασκευή, δοκιμή και συντήρηση συστημάτων μεγάλης κλίμακας επεξεργασίας. να προτείνουμε και να εφαρμόζουμε τρόπους βελτίωσης της αξιοπιστίας, της αποδοτικότητας και της ποιότητας των δεδομένων, ώστε οι επιστήμονες των δεδομένων να είναι σε θέση να μασάνουν τα δεδομένα για να εξάγουν απόψεις.

Τι σημαίνει παραπάνω:

  • Οι "κορυφαίες δεξιότητες" ενός μηχανικού δεδομένων επιβεβαιώνουν το γεγονός ότι οι τίτλοι "μεγάλου μηχανικού δεδομένων" και "μηχανικός δεδομένων" είναι βασικά οι ίδιοι / εναλλάξιμοι, όπως ακριβώς ανέφερε ο Sean McClure.Υπάρχουν σαφείς διαφορές στις δεξιότητες που αναμένονται από τους μηχανικούς δεδομένων εναντίον των "μηχανικών των αποθηκών δεδομένων". Οι μηχανικοί των αποθηκών δεδομένων φαίνεται να έχουν ένα μικρό πλεονέκτημα όταν πρόκειται για το μισθό. Η Τεχνολογία Πληροφορικής & Υπηρεσιών είναι το go-to βιομηχανία για αυτές τις εργασίες :)

Ποια είναι λοιπόν η διαφορά;

Λαμβάνοντας όλα τα δεδομένα και τα συμπεράσματα που αναφέρθηκαν στα παραπάνω, μπορείτε επίσης να επιβεβαιώσετε τι έχουν πει άλλοι πριν - ο ρόλος του μηχανικού αποθήκευσης δεδομένων είναι αυτός που εξακολουθεί να χρονολογείται από τις ημέρες που διατηρήθηκαν "τα SQL και τα πολυδιάστατα καταστήματα δεδομένων, για μόνο με παρτίδες και με κεντρική αρχιτεκτονική "ή όπου" ο πρωταρχικός στόχος ήταν να συγκεντρωθούν δεδομένα από διαφορετικές πηγές για την "απάντηση" στις επιχειρηματικές ερωτήσεις ", όπως έδειξαν και άλλοι.

Ο ρόλος του μηχανικού δεδομένων είναι ένας πιο πρόσφατος όρος, ένας τέτοιος περισσότερος στόχος "που συνεργάζεται με τεχνολογίες No-SQL, όχι σε αντίθεση με την ιδέα της αποθήκης δεδομένων με τις περισσότερες λειτουργίες παρτίδας αλλά με τις δυνατότητες για ατμό σε πραγματικό χρόνο, με μια εξαιρετικά κατανεμημένη αρχιτεκτονική".


Απάντηση 2:

Ο Μεγάλος Μηχανικός Δεδομένων και ο Μηχανικός Δεδομένων είναι εναλλάξιμοι. Εάν είστε μηχανικός δεδομένων και δεν εργάζεστε με "μεγάλα" δεδομένα, δεν είμαι σίγουρος τι κάνετε. Αυτό δεν σημαίνει ότι τα δεδομένα πρέπει να είναι "μεγάλα" από την άποψη των bytes, σημαίνει ακριβώς ότι όταν οι άνθρωποι λένε "Μεγάλα Δεδομένα" σημαίνει πραγματικά να μετατρέπουν όλα τα δεδομένα τους σε κάτι χρήσιμο. Αυτό σημαίνει ότι οι υπεύθυνοι των δεδομένων είναι υπεύθυνοι για την τοποθέτηση των μοντέλων μηχανικής μάθησης του Data Scientist στην παραγωγή, αφού χωρίς τα μοντέλα τα δεδομένα απλώς κάθενται. Δεν υπάρχει μεγάλη αξία στη συλλογή και τη διαχείριση δεδομένων αν δεν κάνετε τίποτα με αυτό. Αρχικά, ήταν αρκετό να εξασφαλίσετε ότι η μαζικά δημοφιλής ιστοσελίδα σας δεν συντρίφτηκε, αλλά στην σημερινή οικονομία της πληροφορίας ένας χώρος χωρίς συγκρούσεις δεν είναι καινοτομία, είναι απλά αναμενόμενο. Έτσι, ένας Μεγάλος Μηχανικός Δεδομένων και ένας Μηχανικός Δεδομένων είναι ένα και το αυτό.

Όσο για τον Μηχανικό Data Warehouse Engineer, φαντάζομαι ότι αυτό γίνεται ένας λιγότερο κοινός όρος. Η αποθήκευση δεδομένων έγινε δημοφιλής στις μέρες της Business Intelligence (BI), όταν ο πρωταρχικός στόχος ήταν να συγκεντρωθούν δεδομένα από διαφορετικές πηγές για χάρη των «απαντήσεων» στις επιχειρηματικές ερωτήσεις. Ενώ η συνάθροιση δεδομένων εξακολουθεί να αποτελεί μείζον στόχο στην επιχείρηση, η εστίαση είναι περισσότερο στις προσεγγίσεις στυλ "δεδομένων λιμνών", όπου υπάρχουν πολύ λιγότεροι περιορισμοί ως προς τον τρόπο αποθήκευσης και συσχέτισης των δεδομένων. Τούτου λεχθέντος, οι μηχανικοί των αποθηκών δεδομένων είναι υπεύθυνοι για την επεξεργασία ETL και τη μοντελοποίηση δεδομένων. καθήκοντα που εξακολουθούν να απαιτούνται παρά το όνειρο του αναλυτή να αποθηκεύει και να αναλύει δεδομένα σε αδόμητη μορφή.

Έτσι, ο Μηχανικός Μεγάλων Δεδομένων και ο Μηχανικός Δεδομένων είναι ίδιοι. κάποιος υπεύθυνος για να πάρει μοντέλα μηχανικής μάθησης στην παραγωγή. Εργάζονται μαζί με τους Υπεύθυνους Δεδομένων για να διασφαλίσουν ότι τα μοντέλα είναι κλιμακωτά και μπορούν να παράσχουν διορατικότητα και πρόβλεψη κατόπιν αιτήματος. Ο Μηχανικός δεδομένων Warenouse υποστηρίζει περισσότερες εφαρμογές που σχετίζονται με το BI, όπως πίνακες ελέγχου και αναφορά. Όσοι ενδιαφέρονται για λύσεις που βασίζονται στην τεχνολογία δεδομένων στη σημερινή επιχείρηση συνήθως επικεντρώνονται στην τεχνολογία δεδομένων.


Απάντηση 3:

Ο Μεγάλος Μηχανικός Δεδομένων και ο Μηχανικός Δεδομένων είναι εναλλάξιμοι. Εάν είστε μηχανικός δεδομένων και δεν εργάζεστε με "μεγάλα" δεδομένα, δεν είμαι σίγουρος τι κάνετε. Αυτό δεν σημαίνει ότι τα δεδομένα πρέπει να είναι "μεγάλα" από την άποψη των bytes, σημαίνει ακριβώς ότι όταν οι άνθρωποι λένε "Μεγάλα Δεδομένα" σημαίνει πραγματικά να μετατρέπουν όλα τα δεδομένα τους σε κάτι χρήσιμο. Αυτό σημαίνει ότι οι υπεύθυνοι των δεδομένων είναι υπεύθυνοι για την τοποθέτηση των μοντέλων μηχανικής μάθησης του Data Scientist στην παραγωγή, αφού χωρίς τα μοντέλα τα δεδομένα απλώς κάθενται. Δεν υπάρχει μεγάλη αξία στη συλλογή και τη διαχείριση δεδομένων αν δεν κάνετε τίποτα με αυτό. Αρχικά, ήταν αρκετό να εξασφαλίσετε ότι η μαζικά δημοφιλής ιστοσελίδα σας δεν συντρίφτηκε, αλλά στην σημερινή οικονομία της πληροφορίας ένας χώρος χωρίς συγκρούσεις δεν είναι καινοτομία, είναι απλά αναμενόμενο. Έτσι, ένας Μεγάλος Μηχανικός Δεδομένων και ένας Μηχανικός Δεδομένων είναι ένα και το αυτό.

Όσο για τον Μηχανικό Data Warehouse Engineer, φαντάζομαι ότι αυτό γίνεται ένας λιγότερο κοινός όρος. Η αποθήκευση δεδομένων έγινε δημοφιλής στις μέρες της Business Intelligence (BI), όταν ο πρωταρχικός στόχος ήταν να συγκεντρωθούν δεδομένα από διαφορετικές πηγές για χάρη των «απαντήσεων» στις επιχειρηματικές ερωτήσεις. Ενώ η συνάθροιση δεδομένων εξακολουθεί να αποτελεί μείζον στόχο στην επιχείρηση, η εστίαση είναι περισσότερο στις προσεγγίσεις στυλ "δεδομένων λιμνών", όπου υπάρχουν πολύ λιγότεροι περιορισμοί ως προς τον τρόπο αποθήκευσης και συσχέτισης των δεδομένων. Τούτου λεχθέντος, οι μηχανικοί των αποθηκών δεδομένων είναι υπεύθυνοι για την επεξεργασία ETL και τη μοντελοποίηση δεδομένων. καθήκοντα που εξακολουθούν να απαιτούνται παρά το όνειρο του αναλυτή να αποθηκεύει και να αναλύει δεδομένα σε αδόμητη μορφή.

Έτσι, ο Μηχανικός Μεγάλων Δεδομένων και ο Μηχανικός Δεδομένων είναι ίδιοι. κάποιος υπεύθυνος για να πάρει μοντέλα μηχανικής μάθησης στην παραγωγή. Εργάζονται μαζί με τους Υπεύθυνους Δεδομένων για να διασφαλίσουν ότι τα μοντέλα είναι κλιμακωτά και μπορούν να παράσχουν διορατικότητα και πρόβλεψη κατόπιν αιτήματος. Ο Μηχανικός δεδομένων Warenouse υποστηρίζει περισσότερες εφαρμογές που σχετίζονται με το BI, όπως πίνακες ελέγχου και αναφορά. Όσοι ενδιαφέρονται για λύσεις που βασίζονται στην τεχνολογία δεδομένων στη σημερινή επιχείρηση συνήθως επικεντρώνονται στην τεχνολογία δεδομένων.


Απάντηση 4:

Ο Μεγάλος Μηχανικός Δεδομένων και ο Μηχανικός Δεδομένων είναι εναλλάξιμοι. Εάν είστε μηχανικός δεδομένων και δεν εργάζεστε με "μεγάλα" δεδομένα, δεν είμαι σίγουρος τι κάνετε. Αυτό δεν σημαίνει ότι τα δεδομένα πρέπει να είναι "μεγάλα" από την άποψη των bytes, σημαίνει ακριβώς ότι όταν οι άνθρωποι λένε "Μεγάλα Δεδομένα" σημαίνει πραγματικά να μετατρέπουν όλα τα δεδομένα τους σε κάτι χρήσιμο. Αυτό σημαίνει ότι οι υπεύθυνοι των δεδομένων είναι υπεύθυνοι για την τοποθέτηση των μοντέλων μηχανικής μάθησης του Data Scientist στην παραγωγή, αφού χωρίς τα μοντέλα τα δεδομένα απλώς κάθενται. Δεν υπάρχει μεγάλη αξία στη συλλογή και τη διαχείριση δεδομένων αν δεν κάνετε τίποτα με αυτό. Αρχικά, ήταν αρκετό να εξασφαλίσετε ότι η μαζικά δημοφιλής ιστοσελίδα σας δεν συντρίφτηκε, αλλά στην σημερινή οικονομία της πληροφορίας ένας χώρος χωρίς συγκρούσεις δεν είναι καινοτομία, είναι απλά αναμενόμενο. Έτσι, ένας Μεγάλος Μηχανικός Δεδομένων και ένας Μηχανικός Δεδομένων είναι ένα και το αυτό.

Όσο για τον Μηχανικό Data Warehouse Engineer, φαντάζομαι ότι αυτό γίνεται ένας λιγότερο κοινός όρος. Η αποθήκευση δεδομένων έγινε δημοφιλής στις μέρες της Business Intelligence (BI), όταν ο πρωταρχικός στόχος ήταν να συγκεντρωθούν δεδομένα από διαφορετικές πηγές για χάρη των «απαντήσεων» στις επιχειρηματικές ερωτήσεις. Ενώ η συνάθροιση δεδομένων εξακολουθεί να αποτελεί μείζον στόχο στην επιχείρηση, η εστίαση είναι περισσότερο στις προσεγγίσεις στυλ "δεδομένων λιμνών", όπου υπάρχουν πολύ λιγότεροι περιορισμοί ως προς τον τρόπο αποθήκευσης και συσχέτισης των δεδομένων. Τούτου λεχθέντος, οι μηχανικοί των αποθηκών δεδομένων είναι υπεύθυνοι για την επεξεργασία ETL και τη μοντελοποίηση δεδομένων. καθήκοντα που εξακολουθούν να απαιτούνται παρά το όνειρο του αναλυτή να αποθηκεύει και να αναλύει δεδομένα σε αδόμητη μορφή.

Έτσι, ο Μηχανικός Μεγάλων Δεδομένων και ο Μηχανικός Δεδομένων είναι ίδιοι. κάποιος υπεύθυνος για να πάρει μοντέλα μηχανικής μάθησης στην παραγωγή. Εργάζονται μαζί με τους Υπεύθυνους Δεδομένων για να διασφαλίσουν ότι τα μοντέλα είναι κλιμακωτά και μπορούν να παράσχουν διορατικότητα και πρόβλεψη κατόπιν αιτήματος. Ο Μηχανικός δεδομένων Warenouse υποστηρίζει περισσότερες εφαρμογές που σχετίζονται με το BI, όπως πίνακες ελέγχου και αναφορά. Όσοι ενδιαφέρονται για λύσεις που βασίζονται στην τεχνολογία δεδομένων στη σημερινή επιχείρηση συνήθως επικεντρώνονται στην τεχνολογία δεδομένων.