Investigation of speaker embeddings for cross-show speaker diarization

Rouvier, Michael; Favre, Benoît

doi:10.1109/icassp.2016.7472746

Cited by 2 publications

(2 citation statements)

References 15 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Although the use of a pre-trained sequence extractor clearly helps in building a character-oriented voice representation, it could also create biases in the system. If certain works [22,23,27] have already been interested in the information encoded by the embeddings, it seems however legitimate to wonder if this pretraining does not guide the p-vectors too strongly towards speaker information. This article is dedicated to this question and aims to verify the two following hypotheses:…”

Section: Introductionmentioning

confidence: 99%

Influence of Speaker Pre-training on Character Voice Representation

Quillot

Duret

Dufour

et al. 2021

Speech and Computer

View full text Add to dashboard Cite

Finding professional voice-actors for cultural productions is performed by a human operator and suffers from several difficulties. Researchers have therefore been interested for several years in mimicking the process of vocal casting to help human operators find new voices. However, voice casting appears to be an underdefined task with many difficulties. The main issue is that no label is available to accurately assess the performance of voice casting systems. To tackle these problems, recent works have focused on building a speech representation of acted voices able to highlight the character dimension. The proposed approach relies on an initial sequence extractor issued from a speaker recognition system which is able to represent a time variable speech sequence by a unique fixed-size vector, followed by a dedicated neural network where the character-based embedding, called p-vector, is extracted. It is legitimate to wonder if the sequence extractor is not guiding p-vectors too much towards speaker information. We then propose to study the impact of the speaker pre-training on the character representation learning. In comparison to a directly trained character representation, the results show that the use of a speaker pre-training provides more character information while retaining the speaker-independent part.

show abstract

Section: Introductionmentioning

confidence: 99%

Influence of Speaker Pre-training on Character Voice Representation

Quillot

Duret

Dufour

et al. 2021

Speech and Computer

View full text Add to dashboard Cite

show abstract

“…Οι καμπύλες που αντιστοιχούν στο επιλεγμένο σύνολο παραμέτρων (w F = 50, t k = 2, ρ = 4) επισημαίνονται μεσώ γραμμών μεγαλύτερου πλάτους.Τα αποτελέσματα της πολυτροπικής αξιολόγησης παρουσιάζονται στον Πίνακα 6.5 σε συνδυασμό με αποτελέσματα απο το σύστημα LIUM και τη μονοτροπική (audio-only) έκδοση του προτεινόμενου αλγορίθμου. Το LIUM είναι ένα state-of-the-art σύστημα δεικτοδότησης ομιλητών μέσω ανάλυσης ηχητικών δεδομένων που αναπτύχθηκε απο τους Rouvier et al[151] . Μονοτροπική (audio) και πολυτροπική (audiovisual) απόδοση δεικτοδότησης ομιλητών για τον προτεινόμενο αλγόριθμο και υπάρχουσες state-of-the-art υλοποιήσεις…”

unclassified

Συστήματα Επεξεργασίας Οπτικοακουστικών Πόρων

Τσίπας¹

View full text Add to dashboard Cite

Στο πλαίσιο της παρούσας διδακτορικής διατριβής εισάγονται και μελετώνται νέα συστήματα επεξεργασίας οπτικοακουστικών πόρων με σκοπό την ταξινόμηση και αναζήτηση πληροφοριών σε διαδικτυακά περιβάλλοντα διαχείρισης και μετάδοσης οπτικοακουστικού περιεχομένου. Οι προτεινόμενες μέθοδοι εστιάζουν στη μονοτροπική και πολυτροπική σημασιολογική ανάλυση περιεχομένου με έμφαση στην αξιοποίηση τεχνικών μηχανικής μάθησης. Ειδικότερα, εισάγεται ένα μοντέλο συστημάτων επεξεργασίας οπτικοακουστικών πόρων που υποστηρίζει τη δυνατότητα ενσωμάτωσης αλγορίθμων σημασιολογικής ανάλυσης στη βάση μιας νέας αρχιτεκτονικής ιεραρχικής οργάνωσης. Παράλληλα, προτείνεται μια μεθοδολογία συνεργατικής δημιουργίας επισημάνσεων μέσω της κοινωνικής αλληλεπίδρασης των χρηστών, με σκοπό τον εμπλουτισμό του περιεχομένου και την ανάπτυξη μεγάλης κλίμακας συνόλων δεδομένων αληθείας. Στο πλαίσιο του προτεινόμενου ιεραρχικού μοντέλου οργάνωσης αναπτύσσεται και αξιολογείται ένα σύνολο καινοτόμων, ηχητικά-οδηγούμενων τεχνικών σημασιολογικής ανάλυσης οπτικοακουστικού περιεχομένου. Προτείνεται μια μέθοδος επιβλεπόμενης μάθησης για την ανάλυση περιεχομένου με σκοπό τη διάκριση ομιλίας και μουσικής. Χρησιμοποιείται μια αρθρωτή αρχιτεκτονική δύο επιπέδων, όπου σε πρώτο επίπεδο εντοπίζονται πιθανά σημεία μετάβασης μεταξύ ομοιογενών τμημάτων περιεχομένου, ενώ σε δεύτερο στάδιο γίνεται ταξινόμηση του περιεχομένου των τμημάτων που ορίζεται από διαδοχικά σημεία μετάβασης. Για την εκτίμηση της απόδοσης, η μέθοδος αξιολογείται συγκριτικά με δύο υπάρχουσες υλοποιήσεις αλγορίθμων αιχμής απο τη βιβλιογραφία καθώς και με βάση τα αποτελέσματα του διαγωνισμού MIREX 2015 στον οποίο συμμετείχε και σημείωσε την τρίτη καλύτερη επίδοση. Εισάγεται μια τεχνική κατάτμησης μουσικού περιεχομένου βασισμένη στον εντοπισμό επαναλαμβανόμενων τμημάτων περιεχομένου μέσω πινάκων ιδιο-διαφορών. Η ανίχνευση των επαναλαμβανόμενων τμημάτων επιτυγχάνεται μέσω μίας καινοτόμου μεθοδολογίας διανυσματικής κβάντισης που χρησιμοποιείται ως μηχανισμός προσαρμοστικού φιλτραρίσματος. Η εκτίμηση της απόδοσης του συστήματος πραγματοποιείται με τη χρήση ενός συνόλου δεδομένων 124 μουσικών έργων ενώ επίσης αξιολογείται συγκριτικά με αντίστοιχο αλγόριθμο αιχμής από τη βιβλιογραφία. Τελος, εισάγεται μια πολυτροπική μέθοδολογία δεικτοδότησης ομιλητών με χρήση τεχνικών βαθιάς μάθησης. Η ανάλυση της ηχητικής συνιστώσας πραγματοποιείται μέσω μιας πρωτότυπης σιαμαίας αρχιτεκτονικής ανατροφοδοτούμενων νευρωνικών δικτύων που εκπαιδεύεται βάσει της ομοιότητας μεταξύ ακολουθιών δειγμάτων ομιλητών. Η αξιοποίηση της οπτικής συνιστώσας επιτυγχάνεται με την ανάπτυξη ενός μηχανισμού πολυτροπικής σύντηξης που επιχειρεί τη συσχέτιση της φωνής και του προσώπου του εκάστοτε ομιλητή. Για την εκτίμηση της απόδοσης του αλγορίθμου χρησιμοποιούνται δύο σύνολα δεδομένων μεγάλης έκτασης και επιλέον ο αλγόριθμος αξιολογείται συγκριτικά με αντίστοιχο αλγόριθμο αιχμής από τη βιβλιογραφία.

show abstract

Investigation of speaker embeddings for cross-show speaker diarization

Cited by 2 publications

References 15 publications

Influence of Speaker Pre-training on Character Voice Representation

Influence of Speaker Pre-training on Character Voice Representation

Συστήματα Επεξεργασίας Οπτικοακουστικών Πόρων

Contact Info

Product

Resources

About