Onde posso obter dados brutos públicos gratuitos? [fechadas]

26

No desenvolvimento da Web, um mashup é uma página da Web ou aplicativo que usa e combina dados , apresentação ou funcionalidade de duas ou mais fontes para criar novos serviços.

Existem muitas fontes para obter dados (informações brutas). Os governos são bons exemplos.
No entanto, muitos deles custam e têm licenças complicadas. Por exemplo, a SMHI na Suécia vende dados de temperatura enquanto isso, nosso país vizinho, Noruega, os distribui gratuitamente.

Alguém poderia dizer que tipo de aplicativo você está construindo e quais dados você precisa? Eu diria que me dê alguns dados interessantes e farei um bom mashup deles. Eu poderia apenas traçá-lo no Google Maps, por exemplo.

Portanto, a pergunta é: onde posso obter dados gratuitos?

Nota: Não estou interessado em mineração de dados usando um webcrawler!

Por favor, compartilhe suas fontes comigo.

Amir Rezaei
fonte
Que tipo de dados você está procurando? Quaisquer dados que você possa obter gratuitamente?
Jetti
Qualquer coisa que possa ter significado para uma grande quantidade de pessoas.
Amir Rezaei
1
Que tal odata.stackexchange.com ?
ChrisF
@ ChrisF: "Esta página contém os seguintes erros: erro na linha 2 na coluna 29: Caractere 0x0 fora do intervalo permitido Abaixo está uma renderização da página até o primeiro erro." Ao clicar no link odata.
Chris
@ Chris - Funciona bem para mim, mas se você tiver um caso repetível, relate o problema à equipe no MSO. Eu sou apenas um moderador;)
ChrisF

Respostas:

11

Para informações gerais, um bom lugar para começar pode ser a página de dados abertos da Wikipedia - especificamente as partes inferiores da página ( organizações que promovem dados abertos , consulte também e links externos )

Iria transformar o restante deste post em uma lista de fontes de dados com base em país e região ... mas o Guardian UK Newspaper já partiu e compilou um World Government Data Store, então não adianta duplicar o esforço. vou apenas apontar para ...

guardian.co.uk/world-government-data

... para um catálogo de várias Iniciativas de Dados Abertos em nível de país e cidade.
(Não é baseado no Reino Unido, embora pareça se concentrar nos países de língua inglesa.)

No momento da edição, ele contém dados para o Reino Unido, EUA, Austrália, Canadá, Nova Zelândia e Espanha Basca.

Uma coisa que não está listada lá, mas vale a pena mencionar, são os dados de mapeamento do Ordnance Survey UK .

Peter Boughton
fonte
O Guardian também tem o bom hábito de fornecer os dados referenciados em suas histórias a maior parte do tempo.
Jon Hopkins
6

Existem dados em todo o lugar, de todos os tipos. A melhor abordagem é descobrir de que tipo de dados você precisa, encontrar um site que os possua e verificar se o site oferece uma API. No entanto, aqui estão algumas fontes gerais:

Yevgeniy Brikman
fonte
3

Para um catálogo abrangente de dados do governo dos EUA e formatos suportados, consulte aqui: http://www.data.gov/

Robert Harvey
fonte
3

A cidade de Nova York possui vários feeds de dados de trânsito gratuitos do MTA .

Há também muitos outros conjuntos de dados públicos interessantes em Nova York, como dados de inspeção de saúde de restaurantes.

realworldcoder
fonte
3

Alguém fez a mesma pergunta no Reddit Compsci há um tempo ... aqui está o que eu tinha a dizer então . Eu acho que tudo ainda está de pé.

Vasculhe alguns desses sites, tenho certeza de que há algo para atrair seu interesse.

Dependendo do que você está tentando fazer, existem toneladas e muitos conjuntos de dados por aí. Um jogo divertido, mas que pode ou não ser relevante para você, é o conjunto de dados de email da Enron . É o resultado de muitos emails corporativos internos da Enron sendo intimados e divulgados ao público durante o grande escândalo da Enron .

E se você não conseguir encontrar exatamente os dados que deseja, não subestime a possibilidade de escrever seu próprio rastreador / raspador. Dependendo dos dados que você deseja, pode ser bastante simples rastrear a Web para obter seu próprio conjunto de dados. Existem todos os tipos de ferramentas - do wget ao apache droids - para ajudá-lo a recuperar informações programaticamente.

mindcrime
fonte
2

Dados da Água

Você pode usar o NOAA para recuperar grandes quantidades de dados para brincar. Eu o usei várias vezes e a API não é tão ruim. Se você não se importa com o quê e simplesmente quanto é para onde eu iria.

Josh K
fonte
0

Windows Azure Marketplace - embora, a partir de agora, a maioria das fontes de dados diga 'em breve'

Jason w
fonte