Conjuntos de dados / APIs de redes sociais disponíveis publicamente

Como uma extensão da nossa grande lista de conjuntos de dados disponíveis publicamente , eu gostaria de saber se existe alguma lista de conjuntos de dados de redes sociais disponíveis publicamente / APIs de rastreamento. Seria muito bom se, juntamente com um link para o conjunto de dados / API, fossem adicionadas características dos dados disponíveis. Essas informações devem ser e não se limitam a:

• o nome da rede social;
• que tipo de informação do usuário ele fornece (postagens, perfil, rede de amizade, ...);
• se permite rastrear seu conteúdo por meio de uma API (e taxa: 10 / min, 1k / mês, ...);
• se simplesmente fornece uma captura instantânea de todo o conjunto de dados.

Todas as sugestões e outras características a serem adicionadas são muito bem-vindas.

Algumas palavras sobre APIs de redes sociais. Há cerca de um ano, escrevi uma revisão das APIs de redes sociais populares para pesquisadores. Infelizmente, é em russo. Aqui está um resumo:

Twitter ( https://dev.twitter.com/docs/api/1.1 )

• quase todos os dados sobre tweets / textos e usuários estão disponíveis;
• falta de dados sociodemográficos;
• ótima API de streaming: útil para processamento de texto em tempo real;
• muitos wrappers para linguagens de programação;
• é possível obter estrutura de rede (conexões), mas é caro (uma solicitação por 1 minuto).

Facebook ( https://developers.facebook.com/docs/reference/api/ )

• limites de taxa: cerca de 1 solicitação por segundo;
• bem documentado, sandbox presente;
• API de gráfico FQL (semelhante a SQL) e «Rest Rest» regular;
• dados de amizade e características sociodemográficas presentes;
• muitos dados estão além do horizonte de eventos : apenas os dados de amigos e amigos de amigos estão mais ou menos completos, quase nada poderia ser investigado sobre usuários aleatórios;
• alguns erros estranhos da API e parece que ninguém se importa com isso (por exemplo, alguns recursos disponíveis no FQL, mas não no sinônimo da API do Graph).

Instagram ( http://instagram.com/developer/ )

• limites de taxa: 5000 solicitações por hora;
• API em tempo real (como a API de streaming para o Twitter, mas com fotos) - a conexão é um pouco complicada: são usados ​​retornos de chamada;
• falta de dados sociodemográficos;
• fotos, filtros de dados disponíveis;
• imperfeições inesperadas (por exemplo, é possível coletar apenas 150 comentários para postar / foto).

Quadrangular ( https://developer.foursquare.com/overview/ )

• limites de taxa: 5000 solicitações por hora;
• reino dos dados geossociais :)
• bastante fechado de pesquisas por causa de questões de privacidade. Para coletar dados de check-ins, é necessário criar um analisador composto trabalhando com APIs 4sq, bit.ly e twitter de uma só vez;
• novamente: falta de dados sociodemográficos.

Google+ ( https://developers.google.com/+/api/latest/ )

• cerca de 5 solicitações por segundo (tente verificar);
• principais métodos: atividades e pessoas;
• como no Facebook, muitos dados pessoais de usuários aleatórios são ocultos;
• falta de dados de conexões do usuário.

E fora da competição: revi as redes sociais para leitores russos, e a rede número 1 aqui é vk.com . É traduzido para vários idiomas, mas popular apenas na Rússia e em outros países da CEI. Link para documentos da API: http://vk.com/dev/ . E do meu ponto de vista, é a melhor escolha para a pesquisa de mídia social caseira. Pelo menos na Rússia. É por isso:

• limites de taxa: 3 solicitações por segundo;
• texto público e dados de mídia disponíveis;
• dados sociodemográficos disponíveis: para o nível de disponibilidade aleatória do usuário, é de cerca de 60 a 70%;
• conexões entre usuários também estão disponíveis: quase todos os dados de amizade para usuários aleatórios estão disponíveis;
• alguns métodos especiais: por exemplo, existe um método para obter o status online / offline do usuário exato em tempo real, e pode-se criar um cronograma para o público.

Não é uma rede social propriamente dita, mas o Stackexchange publica todo o seu dump de banco de dados periodicamente:

• Dump de dados Stackexchange hospedado no archive.org
• Postagem descrevendo o esquema de despejo de banco de dados

Você pode extrair algumas informações sociais analisando quais usuários perguntam e respondem entre si. Uma coisa boa é que, como as postagens são marcadas, você pode analisar sub-comunidades facilmente.

Uma boa lista de conjuntos de dados de redes sociais disponíveis ao público pode ser encontrada no site do Stanford Network Analysis Project:

Conjuntos de dados SNAP

O site contém dados de redes sociais da Internet (Facebook, Twitter, Google Plus), redes de citação para revistas acadêmicas, redes de compras conjuntas da Amazon e vários outros tipos de redes. Eles direcionaram, não direcionaram e gráficos bipartidos e todos os conjuntos de dados são instantâneos que podem ser baixados em formato compactado.

Um exemplo da Alemanha: Xing um site semelhante ao linkedin, mas limitado a países de língua alemã.

Link para a central de desenvolvedores: https://dev.xing.com/overview

Fornece acesso a: perfis de usuário, conversas entre usuários (limitado ao próprio usuário), anúncios de emprego, contatos e contatos de contatos, notícias da rede e algumas APIs de localização geográfica.

Sim, ele tem uma API, mas não encontrei informações sobre a taxa. Mas parece-me que algumas informações são limitadas ao consentimento do usuário.

O Repositório de Rede ( http://networkrepository.com ) possui inúmeras redes sociais, gráficos da web, redes biológicas e cerebrais etc. O melhor de tudo é que eles também têm ferramentas analíticas visuais interativas para comparar / explorar as várias redes sociais.

Uma pequena coleção desses links pode ser encontrada aqui . Muitos deles são gráficos sociais.

Texto em tailandês de diferentes plataformas de mídia social + etiquetas de sentimentos (positivo, neutro, negativo).