No desenvolvimento da Web, um mashup é uma página da Web ou aplicativo que usa e combina dados , apresentação ou funcionalidade de duas ou mais fontes para criar novos serviços.
Existem muitas fontes para obter dados (informações brutas). Os governos são bons exemplos.
No entanto, muitos deles custam e têm licenças complicadas. Por exemplo, a SMHI na Suécia vende dados de temperatura enquanto isso, nosso país vizinho, Noruega, os distribui gratuitamente.
Alguém poderia dizer que tipo de aplicativo você está construindo e quais dados você precisa? Eu diria que me dê alguns dados interessantes e farei um bom mashup deles. Eu poderia apenas traçá-lo no Google Maps, por exemplo.
Portanto, a pergunta é: onde posso obter dados gratuitos?
Nota: Não estou interessado em mineração de dados usando um webcrawler!
Por favor, compartilhe suas fontes comigo.
Respostas:
Para informações gerais, um bom lugar para começar pode ser a página de dados abertos da Wikipedia - especificamente as partes inferiores da página ( organizações que promovem dados abertos , consulte também e links externos )
Iria transformar o restante deste post em uma lista de fontes de dados com base em país e região ... mas o Guardian UK Newspaper já partiu e compilou um World Government Data Store, então não adianta duplicar o esforço. vou apenas apontar para ...
guardian.co.uk/world-government-data
... para um catálogo de várias Iniciativas de Dados Abertos em nível de país e cidade.
(Não é baseado no Reino Unido, embora pareça se concentrar nos países de língua inglesa.)
No momento da edição, ele contém dados para o Reino Unido, EUA, Austrália, Canadá, Nova Zelândia e Espanha Basca.
Uma coisa que não está listada lá, mas vale a pena mencionar, são os dados de mapeamento do Ordnance Survey UK .
fonte
Existem dados em todo o lugar, de todos os tipos. A melhor abordagem é descobrir de que tipo de dados você precisa, encontrar um site que os possua e verificar se o site oferece uma API. No entanto, aqui estão algumas fontes gerais:
fonte
O site do Open Data Protocol lista vários serviços ao vivo de oData em sua página Produtores.
editar> StackExchange tem um serviço oData listado lá.
fonte
EUA
API do New York Times
fonte
Para um catálogo abrangente de dados do governo dos EUA e formatos suportados, consulte aqui: http://www.data.gov/
fonte
A cidade de Nova York possui vários feeds de dados de trânsito gratuitos do MTA .
Há também muitos outros conjuntos de dados públicos interessantes em Nova York, como dados de inspeção de saúde de restaurantes.
fonte
Alguém fez a mesma pergunta no Reddit Compsci há um tempo ... aqui está o que eu tinha a dizer então . Eu acho que tudo ainda está de pé.
Vasculhe alguns desses sites, tenho certeza de que há algo para atrair seu interesse.
Dependendo do que você está tentando fazer, existem toneladas e muitos conjuntos de dados por aí. Um jogo divertido, mas que pode ou não ser relevante para você, é o conjunto de dados de email da Enron . É o resultado de muitos emails corporativos internos da Enron sendo intimados e divulgados ao público durante o grande escândalo da Enron .
E se você não conseguir encontrar exatamente os dados que deseja, não subestime a possibilidade de escrever seu próprio rastreador / raspador. Dependendo dos dados que você deseja, pode ser bastante simples rastrear a Web para obter seu próprio conjunto de dados. Existem todos os tipos de ferramentas - do wget ao apache droids - para ajudá-lo a recuperar informações programaticamente.
fonte
O Catálogo de Dados Públicos de Calgary possui algumas coisas da cidade de Calgary, Alberta, Canadá, disponíveis gratuitamente.
O workshop de Ferramentas para Democracia de Dados Abertos e Internet foi um evento realizado em Calgary no último sábado sobre o uso desses dados, assim como algo a divulgar.
fonte
Dados da Água
Você pode usar o NOAA para recuperar grandes quantidades de dados para brincar. Eu o usei várias vezes e a API não é tão ruim. Se você não se importa com o quê e simplesmente quanto é para onde eu iria.
fonte
Windows Azure Marketplace - embora, a partir de agora, a maioria das fontes de dados diga 'em breve'
fonte
Para quem faz AWS, o Amazon Public Datasets pode ser interessante.
fonte
A França abriu recentemente um site de dados abertos
Edit: Paris fez também
fonte