Conjuntos de dados / APIs de redes sociais disponíveis publicamente

26

Como uma extensão da nossa grande lista de conjuntos de dados disponíveis publicamente , eu gostaria de saber se existe alguma lista de conjuntos de dados de redes sociais disponíveis publicamente / APIs de rastreamento. Seria muito bom se, juntamente com um link para o conjunto de dados / API, fossem adicionadas características dos dados disponíveis. Essas informações devem ser e não se limitam a:

  • o nome da rede social;
  • que tipo de informação do usuário ele fornece (postagens, perfil, rede de amizade, ...);
  • se permite rastrear seu conteúdo por meio de uma API (e taxa: 10 / min, 1k / mês, ...);
  • se simplesmente fornece uma captura instantânea de todo o conjunto de dados.

Todas as sugestões e outras características a serem adicionadas são muito bem-vindas.

Rubens
fonte

Respostas:

20

Algumas palavras sobre APIs de redes sociais. Há cerca de um ano, escrevi uma revisão das APIs de redes sociais populares para pesquisadores. Infelizmente, é em russo. Aqui está um resumo:

Twitter ( https://dev.twitter.com/docs/api/1.1 )

  • quase todos os dados sobre tweets / textos e usuários estão disponíveis;
  • falta de dados sociodemográficos;
  • ótima API de streaming: útil para processamento de texto em tempo real;
  • muitos wrappers para linguagens de programação;
  • é possível obter estrutura de rede (conexões), mas é caro (uma solicitação por 1 minuto).

Facebook ( https://developers.facebook.com/docs/reference/api/ )

  • limites de taxa: cerca de 1 solicitação por segundo;
  • bem documentado, sandbox presente;
  • API de gráfico FQL (semelhante a SQL) e «Rest Rest» regular;
  • dados de amizade e características sociodemográficas presentes;
  • muitos dados estão além do horizonte de eventos : apenas os dados de amigos e amigos de amigos estão mais ou menos completos, quase nada poderia ser investigado sobre usuários aleatórios;
  • alguns erros estranhos da API e parece que ninguém se importa com isso (por exemplo, alguns recursos disponíveis no FQL, mas não no sinônimo da API do Graph).

Instagram ( http://instagram.com/developer/ )

  • limites de taxa: 5000 solicitações por hora;
  • API em tempo real (como a API de streaming para o Twitter, mas com fotos) - a conexão é um pouco complicada: são usados ​​retornos de chamada;
  • falta de dados sociodemográficos;
  • fotos, filtros de dados disponíveis;
  • imperfeições inesperadas (por exemplo, é possível coletar apenas 150 comentários para postar / foto).

Quadrangular ( https://developer.foursquare.com/overview/ )

  • limites de taxa: 5000 solicitações por hora;
  • reino dos dados geossociais :)
  • bastante fechado de pesquisas por causa de questões de privacidade. Para coletar dados de check-ins, é necessário criar um analisador composto trabalhando com APIs 4sq, bit.ly e twitter de uma só vez;
  • novamente: falta de dados sociodemográficos.

Google+ ( https://developers.google.com/+/api/latest/ )

  • cerca de 5 solicitações por segundo (tente verificar);
  • principais métodos: atividades e pessoas;
  • como no Facebook, muitos dados pessoais de usuários aleatórios são ocultos;
  • falta de dados de conexões do usuário.

E fora da competição: revi as redes sociais para leitores russos, e a rede número 1 aqui é vk.com . É traduzido para vários idiomas, mas popular apenas na Rússia e em outros países da CEI. Link para documentos da API: http://vk.com/dev/ . E do meu ponto de vista, é a melhor escolha para a pesquisa de mídia social caseira. Pelo menos na Rússia. É por isso:

  • limites de taxa: 3 solicitações por segundo;
  • texto público e dados de mídia disponíveis;
  • dados sociodemográficos disponíveis: para o nível de disponibilidade aleatória do usuário, é de cerca de 60 a 70%;
  • conexões entre usuários também estão disponíveis: quase todos os dados de amizade para usuários aleatórios estão disponíveis;
  • alguns métodos especiais: por exemplo, existe um método para obter o status online / offline do usuário exato em tempo real, e pode-se criar um cronograma para o público.
sobach
fonte
11
Pura grandiosidade! Na verdade, eu esperava que algo assim se dissolvesse em muitas respostas, e você veio carregando o todo: D Obrigado pela resposta. Bom trabalho! :)
Rubens
11
Deixei para trás o escopo LinkedIn, YouTube, Secret. Talvez outras redes regionais (QQ?). E ficaria feliz em obter qualquer informação sobre eles.
sobach
8

Não é uma rede social propriamente dita, mas o Stackexchange publica todo o seu dump de banco de dados periodicamente:

Você pode extrair algumas informações sociais analisando quais usuários perguntam e respondem entre si. Uma coisa boa é que, como as postagens são marcadas, você pode analisar sub-comunidades facilmente.

Little Bobby Tables
fonte
6

Uma boa lista de conjuntos de dados de redes sociais disponíveis ao público pode ser encontrada no site do Stanford Network Analysis Project:

Conjuntos de dados SNAP

O site contém dados de redes sociais da Internet (Facebook, Twitter, Google Plus), redes de citação para revistas acadêmicas, redes de compras conjuntas da Amazon e vários outros tipos de redes. Eles direcionaram, não direcionaram e gráficos bipartidos e todos os conjuntos de dados são instantâneos que podem ser baixados em formato compactado.

Ben
fonte
5

Um exemplo da Alemanha: Xing um site semelhante ao linkedin, mas limitado a países de língua alemã.

Link para a central de desenvolvedores: https://dev.xing.com/overview

Fornece acesso a: perfis de usuário, conversas entre usuários (limitado ao próprio usuário), anúncios de emprego, contatos e contatos de contatos, notícias da rede e algumas APIs de localização geográfica.

Sim, ele tem uma API, mas não encontrei informações sobre a taxa. Mas parece-me que algumas informações são limitadas ao consentimento do usuário.

Christian Sauer
fonte
4

O Repositório de Rede ( http://networkrepository.com ) possui inúmeras redes sociais, gráficos da web, redes biológicas e cerebrais etc. O melhor de tudo é que eles também têm ferramentas analíticas visuais interativas para comparar / explorar as várias redes sociais.

Stein
fonte
2

Uma pequena coleção desses links pode ser encontrada aqui . Muitos deles são gráficos sociais.

lgylym
fonte
Muito obrigado por postar essa referência, mas esperava que as respostas aqui apontassem um conjunto de dados / API disponível publicamente para redes sociais e também descrevessem o que é fornecido por essa fonte (a taxa de download de postagens ou que tipo de informação sobre usuários). Como sua resposta é, acho que seria muito bem-vindo à lista de conjuntos de dados publicamente disponíveis que temos.
Rubens
0

Texto em tailandês de diferentes plataformas de mídia social + etiquetas de sentimentos (positivo, neutro, negativo).

bact '
fonte