Πέμπτη, Αυγούστου 22, 2013

AudioPaint: μετατροπέας εικόνας σε ήχο

για τον Κουκουζέλη και όποιον άλλον ενδιαφερθεί (μπορεί πχ να ενδιαφερθεί ο Silezukuk)

Τι είναι και πώς δουλεύει:
Αντί να το πω με δικά μου λόγια ....μεταφράζω την εισαγωγή από το manual του προγράμματος.  Πάντως, αν πρόκειται να χρησιμοποιήσεις το πρόγραμμα, κάτι που το συνιστώ, έχω μεταφράσει όλο το manual στα ελληνικά, μπορείς να το κατεβάσεις από εδώ (κλικ) διατίθεται δωρεάν από τον κατασκευαστή.

Και τώρα σας μιλάει μεταφρασμένος ο κατασκευαστής:




"Αυτό είναι ένα μικρό εγχειρίδιο χρήσης για το AudioPaint 2.1. Βεβαιωθείτε ότι έχετε στη διάθεσή  σας την τελευταία έκδοση του προγράμματος που μπορείτε να βρείτε εδώ


Παρακαλώ λάβετε υπ’ όψιν ότι αυτό το πρόγραμμα ήταν αρχικά φτιαγμένο για προσωπική μου χρήση. Ως εκ τούτου, δεν υπάρχει κανενός είδους εγγύηση. Χρησιμοποιείστε το με δική σας ευθύνη. AudioPaint (c) 2002-2008 Nicolas Fournel


1.1 Τι είναι το AudioPaint
Το AudioPaint παράγει ήχους από εικόνες. Το πρόγραμμα διαβάζει JPEG, GIF, PNG και BMP αρχεία και μεταφράζει το χρώμα και τη θέση κάθε pixel σε συχνότητα, διάρκεια και θέση στο χώρο. Το AudioPaint μπορεί συνεπώς να θεωρηθεί ως ένα τεράστιο προσθετικό συνθεσάιζερ.


1.2 Πώς δουλεύει;
Μια εικόνα, στην πραγματικότητα, τυγχάνει επεξεργασίας ως ένα μεγάλο πλέγμα συχνοτήτων και χρόνου. Κάθε γραμμή της εικόνας είναι ένας ταλαντωτής, και αναλόγως του πόσο ψηλά βρίσκεται κάτι στην εικόνα αντιστοιχείται με μία ανάλογα ψηλή συχνότητα. Και ενώ η κατακόρυφη θέση ενός pixel καθορίζει τη συχνότητα, η οριζόντια θέση του αντιστοιχεί στον προκαθορισμένο χρόνο ενεργοποίησης της χρονικής του έκτασης.

Κανονικά, το χρώμα ενός pixel χρησιμοποιείται για τον καθορισμό της θέσης του στο χώρο (panning), το κόκκινο και το πράσινο καθορίζουν το πλάτος του αριστερού και δεξιού καναλιού, αντιστοίχως (όσο πιο φωτεινό το χρώμα, τόσο πιο δυνατός ο ήχος), ενώ η μπλε συνιστώσα δεν χρησιμοποιείται. Η δράση του κάθε συστατικού μπορεί να τροποποιηθεί στον Δρομολογητή (Routing Section) στο παράθυρο Ρυθμίσεων του Ήχου (Audio Settins Window).

Ξεκινώντας με την έκδοση 2.0,το AudioPaint επίσης μπορεί να μετατρέψει τα στοιχεία χρώματος σε HSB αξίες, και να χρησιμοποιήσει αντί για την απόχρωση, τον κορεσμό και την φωτεινότητα του κόκκινου, την απόχρωση, τον κορεσμό και την φωτεινότητα του πράσινου και του μπλε.


1.3 Πώς να το χρησιμοποιήσετε;
Ανάλογα με την εικόνα, πολλές εκατοντάδες (ή ακόμα και χιλιάδες) ταλαντωτών μπορούν να ενεργοποιηθούν ταυτόχρονα. Λόγω του μεγάλου όγκου των δεδομένων προς επεξεργασία, το AudioPaint δεν λειτουργεί σε πραγματικό χρόνο.

Μόλις επιλέξετε την εικόνα σας και τις παραμέτρους, ένας ήχος πρέπει να υποστεί την διαδικασία «generate». Στη συνέχεια, μπορείτε να τον αποθηκεύσετε ως ένα αρχείο .WAV, ώστε να τον επεξεργαστείτε περαιτέρω με κάποιο πρόγραμμα, όπως το Sound Forge, το Wavelab κλπ. ... ή μπορείτε να τον εισάγεται ως sample (δείγμα) σε ένα audio track κάποιου sequencer (Sonar, Acid, Cubase κλπ. ..). Φυσικά, οι ήχοι που παράγονται θα ποικίλλουν ανάλογα με τον τύπο της χρησιμοποιούμενης εικόνας. Δοκίμασα το AudioPaint με φωτογραφίες που τραβήχτηκαν από το διαστημικό τηλεσκόπιο Hubble και είναι διαθέσιμο στη Hubble Heritage Gallery of Images:
http://heritage.stsci.edu/gallery/galindex.html.

Τα αποτελέσματα είναι πολύπλοκα και συναρπαστικά φουτουριστικά ηχοτοπία, ειδικά αν παίξει κάποιος με μεγάλες διάρκειες. Επίσης, τα λεγόμενα Generative graphics, τα οποία συνήθως εμφανίζουν πολλά χρώματα, ενώ παράλληλα αποτελούν μια γεωμετρική σύνθεση, είναι ιδιαίτερα πρόσφορα. Κατά τη διάρκεια της ανάπτυξης του AudioPaint, δούλεψα πολύ με έργα του Dave Bollinger για παράδειγμα:
http://www.davebollinger.com/works

Αλλά μπορείτε πραγματικά να δοκιμάσετε οποιονδήποτε τύπο εικόνας: χάρτες από το Google είναι επίσης μια καλή αφετηρία για την ηχητική εξερεύνησή σας, καθώς και πίνακες των Πικάσο, Μονέ και άλλων μεγάλων καλλιτεχνών. Ξεκινώντας με το AudioPaint 2,0, μπορεί κάποιος να κατεβάσει τυχαίες (αλλά κατάλληλες) φωτογραφίες από το Internet άμεσα μέσω του ίδιου του προγράμματος. Και φυσικά, μη διστάσετε να δημιουργήσετε εικόνες ειδικά για το AudioPaint στο Photoshop ή σε παρόμοια γραφιστικά προγράμματα. Παίζοντας με γεωμετρικά σχήματα και χρωματισμούς, μπορείτε να δημιουργήσετε πολύ ενδιαφέροντες ήχους."

3 σχόλια:

Dimitrios Sykias είπε...

To 93 ή 94 που ήμουνα στο ΚΣΥΜΕ ο Δ. Καμαρωτός είχε φτιάξει ένα παρόμοιο πρόγραμμα για ATARI! Ίσως οι εξωμουσικές εφαρμογές τέτοιων προγραμμάτων να είναι πιο χρήσιμες, π.χ. για τους τυφλούς, ακουστική αναγνώριση του περιβάλλοντος χώρου. Σε μια τέτοια εφαρμογή δούλευε ένας μαθητής μου από το Πολυτεχνείο. To Max ενσωματώνει video, εικόνα, κίνηση και interactive εφαρμογές, αλλά είναι πολύ ακριβό…

γεράσιμος μπερεκέτης είπε...

Δημήτρη, ευχαριστώ για το σχόλιο. Νομίζω ότι η κύρια εφαρμογή αυτών των προγραμμάτων βρίσκεται στην μουσικοπαιδαγωγική. Η σχέση τους με την γραφική παρτιτούρα είναι άμεση. Οπότε οι βασικές αρχές της θεωρίας μπορούν να διδαχτούν στα μικρά παιδιά μέσω αυτών των προγραμμάτων. Το κυριότερο που πρέπει να κατανοήσει ένα παιδί είναι η διάρκεια και το ύψος και πώς αυτά απεικονίζονται στο πεντάγραμμο. Το ενδιάμεσο στάδιο βρίσκεται στο να κατανοήσουν το πώς η συμβολική του πενταγράμμου ουσιαστικά κβαντικοποιεί την γραφική παρτιτούρα που είναι το ίδιο εγγύς τόσο στο σχέδιο όσο και στην μουσική σημειογραφία.

Πάντως μιας και αν έφερες τον Δημήτρη Καμαρωτό, θα παραθέσω ένα ενθύμιον από τα σεμινάρια του ΚΣΥΜΕ για την Πολυαγωγία του Ξενάκη - η Πολυαγωγία (σημειώνω για όποιον δεν το γνωρίζει) υπήρξε η μητέρα όλων αυτών των προγραμμάτων που παράγουν τον ήχο μέσα από γραφικό περιβάλλον.

Τα σεμινάρια αυτά είχαν προσελκύσει αρκετούς καλλιτέχνες των εικαστικών τεχνών. Ένας ζωγράφος σχεδόν είχε διαμαρτυρηθεί για το ότι η Πολυαγωγία απέτυχε να μετατρέψει ένα εξαίσιο τριαντάφυλλο που είχε ο ίδιος σκιτσάρει σε ένα υπέροχο μουσικό έργο. Το ωραιότατο τριαντάφυλλο «ακουγόταν» αδιάφορο μπροστά στο αποτέλεσμα που απέφερε ένα χαζό ή έστω αχαρακτήριστο από εικαστικής πλευράς σχέδιο, το οποίο είχε ως μόνο συστατικό το ότι προερχόταν από κάποιον μουσικό!

Dimitrios Sykias είπε...

Την είχα ξεχάσει αυτή σου την ανάρτηση και μόλις την είδα μπήκα να γράψω το ίδιο σχόλιο. Μου είχε τόσο πολύ εντύπωση τότε αυτή η επινόηση του Καμαρωτού... Απόλυτα σύμφωνος με τις μουσικοπαιδαγωγικές απόψεις του σχολίου σου.

οι παχουλές αναρτήσεις (όσο τις διαβάζετε τόσο παχαίνουν)