Projeto de sistema de efeitos sonoros

Estou criando um jogo de RPG / RTS no Unity. Existem muitos personagens e potencialmente muitos ambientes diferentes. Estou bastante confiante com a parte de codificação (então esta questão não está realmente ligada ao mecanismo do jogo). Eu também crio música (trabalho solo, bateria ao vivo em uma banda, mixagem para amigos etc.), então acho que tenho uma boa compreensão de todas as ferramentas necessárias. No entanto, nunca criei um design de som para um jogo e realmente não entendo como fazer isso.

Como você organizaria e usaria efeitos sonoros? Por exemplo, você tem 5 tipos de caracteres diferentes e 3 áreas diferentes - grama, barro e madeira, por exemplo - você criaria sons de passos 5 * 3? É uma boa ideia adicionar passo aleatório para variedade a uma amostra? E os sons do ambiente - você cria um loop principal que acaba de lançar no fundo ou coloca sons reais (água, vento, cascas de árvores em movimento, pássaros) em todo o nível do jogo?

No geral, eu simplesmente tenho muitas dessas perguntas aleatórias estúpidas porque não entendo muito bem como esse sistema deve ser projetado; Ficaria muito grato se alguém me desse um link para algum tipo de guia ou artigo sobre o assunto.

Da sua pergunta, parece que você não tem nenhum problema ao projetar / adquirir efeitos sonoros e precisa entender as abordagens de implementação.

Como você organizaria e usaria efeitos sonoros?

Há um princípio importante que você precisa entender quando se trata de áudio do jogo, que é óbvio em retrospectiva, mas nem todo mundo começa sua primeira abordagem:

"Quem ainda acha que existe uma relação 1: 1 entre um som e um arquivo WAV simplesmente não entende." - Brian Schmidt

Quando um estúdio de pós-produção edita a trilha sonora de um filme, eles não colocam pequenas pistas de "SOUND EFFECT INSTANCE" em toda a linha do tempo. Eles pegam alguns sons diferentes e os equilibram juntos, acionados em diferentes pontos da sequência para tornar a trilha sonora o mais orgânica possível. É realmente difícil (e às vezes não é desejável, como dita a estética do seu jogo) fazer isso em jogos.

Os sistemas que você pode construir (ou usar) para obter o máximo de flexibilidade de seus mecanismos variam. Uma maneira de se familiarizar com isso é fazer o download do FMOD e do Wwise e começar a ler sua documentação e tentar usar as ferramentas (o instalador do Wwise contém um documento descrevendo a interação entre programador e designer de som que é especialmente boa).

Por exemplo, você tem 5 tipos de caracteres diferentes e 3 áreas diferentes - grama, barro e madeira, por exemplo - você criaria sons de passos 5 * 3?

Se os passos dos seus personagens parecerem diferentes o suficiente, então sim. Também é comum dividi-lo em sons pequenos, médios e grandes, porque, por exemplo, os sons humano e elfo realmente serão tão diferentes? Economize no espaço em disco e na memória e reutilize alguns sons.

É uma boa ideia adicionar passo aleatório para variedade a uma amostra?

Sim. Caso contrário, você obtém o efeito "metralhadora", que soa como o nome. É especialmente ruim com vários sons de impacto. Para sons rápidos e repetidos, você normalmente pega algumas amostras diferentes o suficiente e aciona cada uma delas com seu tom sutilmente ajustado em cada instância do SFX que está sendo acionado.

E os sons do ambiente - você cria um loop principal que acaba de lançar em segundo plano,

Muitos jogos certamente adotaram essa abordagem. O exemplo mais recente que consigo pensar é o Bastião. Se você ficar no Bastião por 2 a 3 minutos, ouvirá a faixa de fundo desaparecer e depois desaparecer novamente quando o loop de fundo for reiniciado. Isso é meio coxo. É possível tornar o loop de segundo plano mais dinâmico.

Para tornar o loop de segundo plano mais dinâmico, pense em decompor o loop em seus elementos. Para um determinado loop de plano de fundo ao ar livre básico, você provavelmente pode colocar:

• Uma base, vento suave ou outro som que age como a cama ou "tom de ambiente" se você fez um som de filme.
• Sons contínuos um pouco mais altos destacando uma característica da área (por exemplo: riacho balbuciante)
• Sons ativos frequentemente, curtos, mas que podem ser acionados com frequência (gorjeio dos pássaros)
• Sons muito poucos e distantes entre si, mas acrescentam interesse e mistério à área (ocasionalmente, rosnar lobo, talvez?)

Você pode pensar efetivamente nessas categorias como todas estando em sua própria linha do tempo. Cada linha do tempo aqui tem um banco de sons que eles podem escolher aleatoriamente e parâmetros para a frequência com que são acionados. Exemplos de parâmetros:

• Qualquer tempo de atraso necessário entre o final do último som é acionado e o próximo começa em uma única categoria.
• Se uma determinada categoria de som puder reproduzir vários sons ao mesmo tempo (pode ser apropriado para twittar pássaros, se estiver sintonizado para ocorrer com pouca frequência)

ou você coloca sons reais (água, vento, cascas de árvores em movimento, pássaros) em todo o nível do jogo?

Os sons colocados no nível são uma espécie de caso especial, pois, em alguns casos, agem como seu loop de segundo plano, mas você também pode querer alguma forma deles, além de um loop de segundo plano.

E se um pássaro voasse para fora de seu ninho quando você se aproximasse, mas não ouvisse um pássaro chiar até 12 segundos depois no loop de fundo? Isso seria estranho. Mesmo que você tenha gritos de pássaros em seu loop de fundo, faz sentido também colocar um grito de pássaros aqui.

O cérebro tende a ouvir com os olhos; na fala, é descrito como o efeito visual de McGurk , mas se aplica a qualquer som.

Os artistas foley fazem uso dessa ilusão nos filmes , para induzir o cérebro a pensar que o som ouvido é produzido pelo que vemos, mesmo quando na verdade está sendo produzido por algo totalmente diferente.

Se o usuário vir um caractere diferente e um campo de terra diferente, provavelmente ouvirá um som diferente.

Outra coisa importante é que o design de som é uma arte em si, então não há receita para dar o efeito sonoro certo a tudo que ocorre no jogo.

Tudo se resume a tentar sons diferentes para coisas diferentes, até parecer certo. A randomização também desempenha um papel importante, para fazer as coisas parecerem reais. Com alguma experiência, torna-se uma segunda natureza encontrar o som certo, tocar no lugar certo, na hora certa.

Eu diria que a leitura de todos esses livros é altamente recomendada para você começar a trabalhar. A ordem em que aparecem na lista é pelo número de cópias vendidas. Então, os realmente bons estão no topo.

(Eu já respondi no Reddit, mas também posso copiar essa resposta aqui.)

Esse é o tipo de coisa que é mais tratada automaticamente no FMod Designer, WWise, na ferramenta Scream da Sony etc. É uma pena que o Unity não tenha algo parecido.

Sim, você normalmente criaria 15 amostras de passos separados. Você também criaria vários de cada um para adicionar variedade e escolher qual jogar aleatoriamente a cada vez. A variação de afinação e amplitude pode ajudar aqui, mas acho que você ainda precisa de mais de uma amostra em cada caso. Você precisa de uma camada de abstração que traduza uma solicitação para reproduzir um passo de um determinado personagem para escolher uma das várias amostras e reproduzi-la.

Os sons do ambiente podem ser feitos de várias maneiras e requerem um nível adicional de suporte do sistema, porque você não pode simplesmente colocar um emissor de som no mundo - os jogadores percebem rapidamente quando o canto dos pássaros parece estar vindo de uma posição muito específica no espaço 3D ou quando ele se move de alto-falante para alto-falante quando você se vira. Mas muitas vezes você precisa atribuir sons a áreas do mundo. Então, o que eu fiz no passado é atribuir a cada som ambiente uma zona na qual você o ouve em volume máximo e uma zona abrangente maior onde é ouvida em volume parcial, atenuando até zero na borda.