Μεγάλα Δεδομένα και Αναλυτική

B’ Εξάμηνο

Υποχρεωτικό

Εξ αποστάσεως

Μεγάλα Δεδομένα και Αναλυτική

Εισαγωγή σε βασικές μεθόδους επεξεργασίας σημάτων (DFT, wavelets). Προεπεξεργασία δεδομένων. Εξαγωγή χαρακτηριστικών, επιλογή χαρακτηριστικών, μείωση διαστατικότητας (Singular value decomposition). Μέθοδοι συμπίεσης δεδομένων (scalar and vector quantization, lossless and lossy compression). Ευρετήρια Χωρικών δεδομένων (Spatial Access Methods – k-d trees, quadtrees, z-ordering, space filing curves, R-trees).

Πιστωτικές Μονάδες ECTS

Εβδομάδες διδασκαλίας

Ώρες συνολικού φόρτου

Βιβλιογραφικές πηγές

Μαθησιακά Αποτελέσματα

Κατανόηση βασικών τεχνικών επεξεργασίας και ανάλυσης δεδομένων μεγάλης κλίμακας

Κατανόηση και ανάλυση αλγορίθμων ανάλυσης και επεξεργασίας πολυδιάστατων δεδομένων

Υλοποίηση τεχνικών κατανεμημένης ανάλυσης και επεξεργασίας δεδομένων μεγάλης κλίμακας

Κατανόηση της χρήσης αλγοριθμικών μεθόδων βελτιστοποίησης

Σχεδιασμός τεχνικών ανάλυσης και επεξεργασίας μεγάλων/πολυδιάστατων/πολυτροπικών δεδομένων

Εμπειρία σε τεχνικές βελτιστοποίησης και τεχνικές επεξεργασίας πολυδιάστατων σημάτων

Υλοποίηση κατανεμημένων τεχνικών επεξεργασίας και ανάλυσης δεδομένων μεγάλης κλίμακας

Γενικές Ικανότητες

Αναζήτηση & σύνθεση δεδομένων

Αυτόνομη εργασία

Ομαδική εργασία

Επαγωγική & δημιουργική σκέψη

Μεγάλα Δεδομένα

Τεχνικές Βελτιστοποίησης

Περιεχόμενο Μαθήματος

–

Ενότητα

Εισαγωγή σε βασικές μεθόδους επεξεργασίας σημάτων

Προεπεξεργασία δεδομένων, εξαγωγή χαρακτηριστικών, επιλογή χαρακτηριστικών, μείωση διαστατικότητας

Μέθοδοι συμπίεσης δεδομένων, ευρετήρια Χωρικών δεδομένων

Εισαγωγή στη βελτιστοποίηση, κατηγορίες προβλημάτων βελτιστοποίησης, γενικά επαναληπτικά σχήματα, oracles μηδενικής, πρώτης και δεύτερης τάξης

Αναλυτική και αριθμητική πολυπλοκότητα, φράγματα στην πολυπλοκότητα και ρυθμός σύγκλισης, βελτιστοποίηση χωρίς περιορισμούς, αναγκαίες και ικανές συνθήκες, μέθοδος πιο απότομης κλίσης

Εισαγωγή στα προβλήματα κατανεμημένης βελτιστοποίησης για μεγάλα κ πολυδιάστατα δεδομένα, αναπαραστάσεις γραφημάτων από πίνακες

Βελτιστοποίηση κυρτών μη-ομαλών συναρτήσεων κόστους, η μέθοδος υπό-κλίσεων, η μέθοδος εγγύτατης κλίσης

Εισαγωγή στη θεωρία συμπιεσμένης καταγραφής, αλγόριθμοι αραιής αναπαράστασης, εκμάθηση λεξικών, κατανεμημένη εκμάθηση λεξικών

Επεξεργασία πολυδιάστατων σημάτων ορισμένων σε γραφήματα. Αλγόριθμοι βελτιστοποίησης για βαθειά νευρωνικά δίκτυα

Εφαρμογή διαδικασιών λήψης αποφάσεων βασισμένων στα δεδομένα στη βιομηχανία, με επικέντρωση σε πλαίσια μεγάλων δεδομένων όπως το Hadoop και το Spark

Αξιολόγηση & Φόρτος Εργασίας

Δραστηριότητα

Ώρες

Διαλέξεις

Βιβλιογραφική Εργασία

Υλοποίηση Project

Μη Καθοδηγούμενη Μελέτη

Σύνολο Μαθήματος

125

Ατομική Εργασία

Τελική ατομική παρουσίαση project

Ομαδική Εργασία

Τελική ομαδική παρουσίαση project

Βιβλιογραφία

Convex Optimization, Cambridge University Press
Stephen Boyd, Lieven Vandenberghe

Linear Algebra and Learning from Data Wellesley-Cambridge Press, 2018
Strang, Gilbert

Introductory Lectures on Convex Programming Volume I: Basic course
Yu. Nesterov

Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers,” Foundations and Trends in Machine Learning, Vol. 3, No. 1 (2010)
Stephen Boyd, Neal Parikh, Eric Chu, Borja Peleato and Jonathan Eckstein

Proximal Algorithms, Foundations and Trends in Optimization, Vol. 1, No. 3 (2013)
Neal Parikh, Stephen Boyd

Πληροφορίες Μαθήματος

Εξάμηνο

B΄

ECTS

Εβδ. σύγχρονης

180 λεπτά

Τύπος

Εξειδικευμένες γνώσεις

Προαπαιτούμενα

—

Τρόπος Διεξαγωγής

Σύγχρονη

30%

Ασύγχρονη

70%

Εξ αποστάσεως

e-class

Erasmus ✓

Τεχνολογίες & Εργαλεία

DTF/wavelets

OPC UA

Spatial Access Methods

Hadoop

Spark

Πίσω στην σελίδα μαθημάτων

Πλατφόρμα e-class

Υλικό μαθήματος, βίντεο, forum & ανακοινώσεις

Πρόσβαση στο e-class