Padrão de cliques do mouse (ou teclado) e previsão da atividade do usuário do computador

10

Baseado apenas no padrão temporal dos cliques do mouse (uma lista dos tempos de clique ), é possível prever a atividade do usuário do computador?[t1,t2,t3,…]

Por exemplo, fora de: trabalhar vs passar tempo no Facebook vs assistir fotos vs jogar um jogo de computador.

Se houver mais previsões detalhadas (por exemplo, jogar StarCraft vs Counter Strike vs SimCity), também estou interessado.

Embora (indiscutivelmente) alguém possa ouvir que alguém está tocando (devido a cliques rápidos e rápidos) ou assistindo a fotos (cliques igualmente espaçados), estou interessado em saber se há mais conclusões objetivas (publicações, pesquisas em blogs etc.) sobre o assunto .

EDITAR:

Estou igualmente interessado nos cliques no teclado (sem distinguir qual tecla está sendo pressionada) ou na abordagem combinada (mouse + teclado).

time-series signal-processing pattern-recognition Piotr Migdal
fonte
E se você tocar com o teclado? : D
nico
@nico Na verdade, o padrão dos cliques no teclado (sem distinguir qual tecla é pressionada) é igualmente interessante.
Piotr Migdal

Respostas:

4

Ótima pergunta que eu gostaria de ter tempo para me investigar. Estou confiante de que é tratável. Você tem algum dado?

nn

Você pode reduzir a dimensionalidade aproximando e codificando eficientemente a trajetória (referências a pedido) e tomando a primeira diferença da frequência de cliques do mouse (ou seja, se a frequência de cliques não estiver mudando, armazene zero). Eu também estimaria a distribuição do tempo de chegada dos cliques para ver se você pode classificá-lo.

Para um ponto de salto na literatura, consulte Reconhecimento de atividade usando movimentos dos olhos e interações tradicionais . Você deve encontrar mais pistas nas comunidades "computação onipresente / difusa" e "interação homem-computador".

Para obter dados, sugiro gerá-lo usando um keylogger . Sugiro pedir ajuda em um fórum relacionado à segurança de computadores ou hackers. A maioria deles registra o teclado, mas também pode haver algo para o mouse. Caso contrário, você poderia escrever seu próprio software .

Emre
fonte
Boas sugestões, mas esse comentário não é mais apropriado do que uma resposta, uma vez que não responde à pergunta dos OPs, a menos que você ache que o link fornecido é uma resposta parcial?
Michael R. Chernick
A resposta não é o link; são os parágrafos anteriores: expliquei como abordar o problema e sugeri o vetor de recursos. Se não fornecer uma boa separação, podemos debater os pontos mais delicados do algoritmo de classificação.
Emre
Eu acho que é uma resposta parcial. A suposição é que quanto maior a frequência de cliques do mouse, maior a atividade. mas o que define atividade? Coisas paasivas como a leitura podem ser consideradas atividades e a rolagem é uma atividade. Nenhum deles envolve cliques do mouse. A verdadeira questão é que, uma vez que tenhamos uma definição clara do que constitui atividade, precisamos de uma maneira independente de medi-la e ver se ela se correlaciona com a frequência de cliques do mouse. Provavelmente, porque dormir no computador ou encará-lo dá períodos de inatividade e nenhum clique do mouse.
Michael R. Chernick
Por outro lado, digitar rápido é uma forma pesada de atividade, mas não envolve cliques.
Michael R. Chernick
@ Emre Obrigado por suas sugestões, esp. o artigo. No entanto, estou interessado se ele realmente funciona (acredito - sim). Não tenho data, portanto, seria desejável ter links para esse tipo de evento.
Piotr Migdal