Pedro Saleiro
Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores
RESULTADOS
Conclusões e Trabalho Futuro
O trabalho realizado nesta dissertação tinha como principais objetivos o melhoramento das últimas duas etapas de um sistema de reconhecimento ótico de música (reconstrução da notação musical e representação final), pelo que a implementação de regras musicais nessas melhorias foi uma aspeto tido em conta e que, apesar de terem sido poucas as regras utilizadas, resultou num melhoramento dos resultados comparativamente ao trabalho desenvolvido até então.
Apesar de a melhoria da extração dos símbolos não ser um dos objetivos deste trabalho, a necessidade de realizar uma reconstrução fidedigna levou a um melhoramento da extração de 3 das 15 classes existentes, uma vez que sem esses símbolos, torna-se impossível reconstruir uma partitura musical. Foram elas, as claves (fornece informação sobre o tipo de nota), os tipos de compasso (indica a quantidade e tipo de símbolos necessários para completar cada compasso) e, apesar de não tão importante para a reconstrução, a armação de clave (informação sobre notas acidentadas). Com as alterações realizadas verificou-se um aumento médio de cerca de 9% na quantidade de símbolos detetados corretamente em todas as classes.
No que toca à consistência sintática desenvolvida para a reconstrução da partitura compasso a compasso, o algoritmo implementado resultou numa melhoria de cerca de 5% na quantidade de símbolos corretamente extraídos e classificados comparativamente ao algoritmo anterior.
A representação dos símbolos resultantes da reconstrução da notação musical era uma etapa que não tinha trabalho previamente desenvolvido e que permitiu ao utilizador ter acesso a um ficheiro que pode ser lido na maioria dos softwares editores de música presentes no mercado.
O desenvolvimento de uma interface gráfica, através da qual o utilizador possa controlar todo o sistema a partir de uma só plataforma torna o trabalho desenvolvido acessível a um grupo mais abrangente de utilizadores, desde os músicos até aos que possuem conhecimentos de programação e não necessitariam de uma interface para utilizar o sistema.
Trabalho futuro
Após a realização desta dissertação, ficaram em aberto algumas questões que podem ser ex-ploradas num trabalho futuro acerca deste tema. A utilização de regras musicais para além das que foram implementadas ao longo deste trabalho seria um dos principais assuntos a abordar pois existem regras que são comuns a todas as partituras e que podem aumentar a percentagem de su-cesso em todas as fases do sistema. São exemplos desse tipo de regras a similaridade vertical das partituras dos maestros, ou seja, numa pauta um compasso tem o mesmo tamanho que o compasso correspondente na pauta acima ou abaixo (instrumentos diferentes) independentemente da quanti-dade de símbolos que estes possuam. A utilização de informação presente noutras pautas, ou até mesmo na mesma pauta, para ajudar na reconstrução da notação musical pode ser útil uma vez que a repetição de conjuntos de símbolos é uma prática comum na escrita de música.
Pode ainda ser adicionada a intervenção do utilizador na aprendizagem do sistema, por exem-plo na validação de determinados símbolos que sejam importantes para o bom funcionamento das restantes etapas, como por exemplo as claves e os tipos de compasso. A adição de informações, por parte do utilizador, acerca da partitura como o nome dela, o nome do compositor ou o nome dos instrumentos que compõe cada uma das partes, pode ser útil para completar a sua representação, fornecendo mais informações a quem a irá ler/interpretar.
Extração dos Símbolos
Reconstrução da Notação Musical
Representação final
A necessidade da intervenção do utilizador neste tipo de sistemas torna o desenvolvimento de uma interface gráfica uma tarefa bastante importante, já que sem ela o utilizador para inicializar os processos e obter os resultados temque ter conhecimentos mais específicos a nível de programação e utilização de softwares com os quais pode não estar familiarizado.
Foi desenvolvida uma interface gráfica a qual permite ao utilizador interagir de uma forma mais intuitiva com o sistema desenvolvido, para tal foi utilizado o GUIDE do Matlab.
Para a representação final da reconstrução da notaçãomusical realizada na fase da consistência sintática deste sistema foi utilizada a linguagem de programação MusicXML, a qual tem a base do XML mas é específica para representação musical. Nas imagens seguintes é visivel o código resultante do algoritmo implementado e um exemplo de um programa editor de música que consegue ler o código resultante.
Os resultados obtidos ao longo desta fase do sistema podem ser apresentados de duas maneiras distintas, uma delas de forma visual, onde são criadas, na imagem original, caixas delimitadoras em torno de cada um dos símbolos presentes na matriz de resultados (inclui símbolos detetados e adicionados). A outra forma de visualizar os resultados é de forma numérica, através de percenta-gens de exatidão, precisão, recall e exatidão de classificação.
A utilização das caixas delimitadoras na imagem mostra ao utilizador, não só quais os símbolos que foram corretamente detetados, mas também aqueles que foram adicionados (pausas e recusados pela rede neuronal). A Figura seguinte (esquerda) é um exemplo de como são representados os símbo-los nas imagens originais.
A representação dos resultados de forma numérica é feita através da tabela seguinte, onde é verificável que há um aumento de cerca de 4% na exatidão de classificação, valor que corresponde à percentagem de objetos que apesar de serem corretamente considerados símbolos musicais, foram ainda corretamente classificados com a classe do símbolo a que correspondem.
Com os símbolos extraídos de todas as partituras utilizadas no teste do sistema, pode ser feita a análise global do desempenho do mesmo. De maneira a existirem valores de referência para comparar com os novos resultados obtidos, realizou-se a extração dos símbolos e o cálculo das percentagens antes de serem efetuadas alterações ao código. Deste modo, torna-se possível a verificação da existência ou não de benefícios na utilização dos novos algoritmos desenvolvidos.
Verifica-se que há um aumento da percentagem de símbolos corretamente detetados (verdadeiros positivos) em todas as classes, sendo este o valor mais importante pois as alterações que foram realizadas têm em vista o seu aumento. De destacar ainda a diminuição do percentagem de falsos positivos que se refere à quantidade de símbolos erradamente detetados, levando a concluir que o sistema consegue não só detetar uma maior quantidade de símbolos como também aperfeiçoou as restrições de validação do algoritmo de modo a aceitar menos conjuntos de símbolos diminuindo assim a percentagem de erro do sistema.