Banca de DEFESA: YUBIRY SINAMAICA GONZALEZ

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE : YUBIRY SINAMAICA GONZALEZ
DATA : 01/11/2023
HORA: 09:30
LOCAL: meet.google.com/psv-icwj-oub
TÍTULO:

FFT-based acoustic descriptors for musical timbre characterization using data analysis and Machine Learning

PÁGINAS: 100
RESUMO:

O timbre musical é um dos atributos sonoros mais complexos e sua caracterização é uma área de pesquisa em aberto. A coleta e a reprodução digital de sons musicais através da FFT permite estudar o problema do timbre musical sob a perspectiva da acústica musical. Portanto, a tese fundamental é que toda a informação timbrica relevante está, de alguma forma, contida na Transformada de Fourier da gravação de áudio correspondente. O problema da representação do timbre é considerado muito semelhante ao das representações do espaço das cores. Em ambos os casos, as percepções (áudio, cor) precisam ser definidas operacionalmente em espaços abstratos para gestão operacional e computação automática. O principal problema da caracterização do timbre musical estabelece a necessidade de desenvolver um conjunto mínimo de descritores acústicos eficientes que avaliem quantitativamente o timbre musical a partir de gravações de áudio digital, e que possam fornecer com precisão informações suficientes sobre a identificação do timbre musical e padrões de semelhanças. A análise considera apenas gravações de áudio monofônicas, correspondentes à escala de temperamento igual, que constituem um conjunto de frequências discretas, finitas e bem definidas. A partir de gravações de áudio extraídas de bibliotecas conhecidas: TinySol e Good-sounds, correspondentes a sons monofônicos de instrumentos musicais, típicos de uma orquestra sinfônica ocidental, executados por músicos profissionais. Um conjunto de descritores adimensionais e acusticamente motivados são definidos para descrever quantitativamente a distribuição parcial de amplitude de frequência nas FFTs de registros de áudio. Cada FFT contém apenas duas quantidades físicas: frequência e amplitude, cuja distribuição pode ser caracterizada quantificando seu componente fundamental, Afinity (A) e Sharpness (S); os valores médios de ambas quantidades; Mean Affinity (MA) e Mean Contrast (MC) e a descrição da envolvente: Harmonicity (H), Monotony (M). Esses descritores, juntamente com a frequência fundamental, configuram um espaço heptadimensional que permite geometrizar, através da distância euclidiana, as relações de semelhança e proximidade tímbrica. Assim, o problema de caracterização tímbrica se reduz a um problema de agrupamento em um espaço abstrato de 7 dimensões, onde cada registro de áudio corresponde a um ponto. A sua posição no espaço tímbrico e a distância euclidiana entre os registos permitiram-nos discriminar as variações tímbricas, por dinâmicas, oitavas, instrumentos musicais e famílias de instrumentos; utilizando técnicas de Machine Learning e processamento de dados. As semelhanças tímbricas entre gravações de áudio são estudadas, criando um algoritmo através de distâncias euclidianas no espaço de 7 dimensões. Este algoritmo nos permitiu descobrir quais FFTs são semelhantes para diferentes instrumentos musicais. Com base no cálculo dos descritores e relações de distância, foi realizada uma análise exploratória de agrupamento utilizando o algoritmo K-means para a análise dos grupos de instrumentos musicais, famílias de instrumentos, bibliotecas de sons e notas musicais. Observamos que os dados de cada estudo de caso aparecem em regiões delimitadas específicas do espaço tímbrico, o que nos permite identificar relações significativas no processo de caracterização tímbrica. Na análise das variações tímbricas consideramos o crescendo e o vibrato, onde observamos que o crescendo modifica o Mean contrast (MC) e o vibrato modifica o descriptor  Affinity (A). Por fim, comparamos a capacidade de classificação dos nossos descritores acústicos FFT com os descritores da biblioteca Librosa, aplicando o algoritmo de classificação Random Forest. Observamos resultados estatisticamente significativos para os descritores FFT-Acústico na classificação de instrumentos musicais e dinâmica, obtendo melhor classificação para notas musicais e família de instrumentos ao compará-los com os descritores Librosa.

MEMBROS DA BANCA:
Presidente - Interno ao Programa - 1673092 - RONALDO CRISTIANO PRATI
Membro Titular - Examinador(a) Externo à Instituição - IVAN EIJI YAMAUCHI SIMURRA - UFAC
Membro Titular - Examinador(a) Externo à Instituição - TIAGO TAVARES - INSPER
Membro Titular - Examinador(a) Externo à Instituição - PEDRO JAVIER GÓMEZ JAIME - UESB
Membro Titular - Examinador(a) Externo à Instituição - NELSON L. FALCON VELOZ
Membro Suplente - Examinador(a) Externo ao Programa - 3271359 - THENILLE BRAUN JANZEN
Membro Suplente - Examinador(a) Externo à Instituição - BICKY MARQUEZ
Membro Suplente - Examinador(a) Externo à Instituição - DAFNE CAROLINA ARIAS PERDOMO