Encontrei um site que fornece uma enorme tabela filtrável com dados atualizados sobre as cidades de um país. Este site usa uma abordagem de rolagem infinita para carregar as linhas da tabela.
Ao explorar o site usando as Ferramentas de desenvolvedor do Chrome, descobri que ele faz solicitações AJAX para algum URL interno para obter os dados. Este URL inclui muitos parâmetros de consulta correspondentes aos filtros.
Tentei acessar esse URL diretamente no meu navegador e estou obtendo todos os dados em um bom formato JSON. Posso até brincar com os filtros para obter os dados concretos de que preciso. Esse URL é realmente acessível, então eu não preciso fazer nada hacky ; estou apenas chamando um URL que está lá na rede.
Portanto, minha pergunta é: quão legal ou ilegal é para mim usar esse URL para recuperar os dados para meus próprios fins?
Nota : não quero criar o mesmo tipo de lista de cidades, mas quero usar esses dados para criar um pequeno jogo online, potencialmente para ganhar um pouco de dinheiro ...
Notas importantes sobre algumas respostas e comentários
Este é apenas um cenário de exemplo, não estou procurando um lugar para coletar dados sobre cidades. Considere um site com dados sobre o desempenho atualizado dos jogadores de futebol em uma temporada, se desejar.
Quanto ao país concreto, novamente, não estou pensando em uma legislação específica, se você conhece um país onde é claramente (il) legal, essas informações serão úteis.
Respostas:
Deixe-me ser claro. Há uma coisa que sei muito bem: é a lei de direitos autorais. Não sou advogado, no entanto, o conhecimento de direitos autorais era um requisito constante da minha consultoria por 30 anos. Como um bônus adicional, consultei principalmente os telecos e trabalhei com dados de assinantes e análise de dados e apresentação desses dados para venda e reutilização. Eu sou, pelo menos, exclusivamente qualificado para responder a esta pergunta neste fórum.
Vou explicar isso da melhor maneira possível: por um, definindo versos proprietários de meios comuns; dois, definindo a exceção do caso citado e outras considerações relacionadas a direitos autorais; e três, sendo claro na resposta.
Deixe-me esclarecer alguns direitos autorais. O exemplo de uma lista telefônica é um nome impróprio. Quando você recebe um telefone, celebra um contrato de contrato privado como cidadão privado de uma empresa privada e as informações resultantes, tornadas públicas ou não, são dados proprietários privados e, portanto, o conteúdo de uma lista telefônica é proprietário (preste atenção esta palavra) simplesmente porque não pode ser obtido geralmente por outros meios, exceto por fontes de dados da empresa - os dados do assinante. Se os dados puderem ser obtidos por meios comuns, como caminhar e escrever números de casas e nomes de ruas, esses dados serão disponibilizados ao público e serão claros para uso. Isso não quer dizer que os números de telefone não possam ser obtidos por meios comuns. Pode ser.
Para esclarecer mais. Para citar: http://www.lib.umich.edu/copyright/facts-and-data
Este parágrafo é enganoso. Esta exceção descrita neste parágrafo é coberta por patentes e outras leis. Os direitos autorais se estendem apenas à criação de uma obra.
O:
... refere-se a qualquer atividade, como ir de casa em casa e reunir os dados manualmente. Esta é a definição de meios comuns. É possível bater nas portas e pedir os mesmos dados telefônicos. Somente na medida em que você puder reunir os fatos por meios comuns, esses dados ou parte dos dados proprietários serão públicos.
A maneira comum de usar os dados do telefone é: primeiro, obter os dados originais por meios legais; e dois, aplique a doutrina do uso justo. Isso implicaria obter uma cópia da lista telefônica diretamente da empresa, que pode ser gratuita ou gratuita, e organizar os fatos de maneira diferente, de modo a criar um novo trabalho. Você tentou obter uma lista telefônica de Seattle quando está em Chicago? Você descobrirá que a companhia telefônica provavelmente cobrará uma taxa surpreendente por isso. No entanto, se você é um assinante de telefone em Seattle e solicita uma lista telefônica de Seattle, a taxa seria muito menor ou mesmo gratuita. Eu tive que fazer isso muitas vezes. Há pessoas que trabalham apenas para obter listas telefônicas pessoalmente dos telecos e pagar a taxa, se necessário.
A decisão citada no caso Feist Publications v. Rural Telephoneno link acima (nesta resposta), depende de dois fatos: um, sendo que os dados do operador da cooperativa rural como monopólio local precisavam ser disponibilizados ao público por acordo operacional; e dois, que a apresentação do trabalho era protegida por direitos autorais e não pelos fatos contidos devido ao fato # 1. Portanto, somente dentro de parâmetros estreitos esse caso pode ser considerado um caso precedente e deve ser descartado. Normalmente, os dados de assinantes de empresas privadas não exigem que o contrato seja tornado público. Você deve se lembrar que as cooperativas rurais são estabelecidas como entidades / entidades de confiança públicas para o bem público e pertencem ao público e / ou membros da cooperativa e, portanto, operam sob restrições legais que permitem que ela seja aprovada para operar ou existir. Cada caso é diferente.
Nos primeiros dias da empresa Bell Telephone, a empresa era obrigada como monopólio a tornar públicos os dados telefônicos, a menos que restritos pelo assinante. Quando a empresa Bell foi dividida no bebê Bells, Bell Atlantic, Bell South e assim por diante, essas empresas ainda eram obrigadas como monopólios a tornar públicos os dados telefônicos, conforme definido anteriormente. Porém, com a desregulamentação e, de fato, com VoIP, celular e outras opções, os monopólios são raros. Somente em cenários de monopólio é possível argumentar acima.
Continuando a citar o link acima (nesta resposta):
Mantenha isso em mente.
Qualquer conjunto de dados fornecido e a apresentação, independentemente da origem dos dados, é um trabalho em si. A apresentação pública dos fatos, independentemente dos meios, é uma obra em si.
Dado que você não está obtendo os dados por meios comuns, mesmo que os dados sejam tornados públicos, e independentemente da origem original dos dados, não é livre para usar como você descreveu e você pode ser acusado criminalmente e responsabilizado civilmente por possíveis violações de direitos autorais, bem como transgressões criminais e uso ilícito de computadores e outros equipamentos de comunicação normalmente não autorizados e podem estar abrangidos pelos estatutos da RICO.
É legal usar? Não! Absolutamente não! Não foi obtido por meios comuns, nem é provável que o operador do site exponha dados proprietários. Qualquer ausência de uma AUP (política de uso aceitável) não ajudará. Existem suposições feitas sob a lei quanto ao "homem razoável", "padrão razoável" e "suposição razoável" que protegem o proprietário do site nesse caso. Não é razoável que uma pessoa inteligente use uma "vulnerabilidade no design / criação" do site para obter dados para outro uso. Além disso, se o site lucrar com suas atividades, outras proteções entram em jogo.
fonte
robots.txt
não restringisse o URL, e as consultas dele estivessem disponíveis em vários mecanismos de pesquisa, isso afetaria sua análise? Com o JSON, vi ser mais legível do que o XML "legível por humanos" (mas eles disseram!: D) [por exemplo, SOAP] você concorda que seria discutivelmente "obtido por 'meios comuns'" naquele momento ? Em um navegador que possui uma das extensões de visualização JSON fácil instaladas, clicar em um link e visualizar os dados seria trivial. E imagino uma adição auto-JSON-RESTO-query-campo de busca para não ser muito para trás ...Uma coisa que não parece muito clara nas outras respostas aqui ...
Seja "legal" ou não, em primeiro lugar, depende do país. Se estamos falando dos Estados Unidos, por exemplo, o uso dos dados em si não é ilegal. No entanto, aconselho você a usar os dados reais do censo dos EUA. Eles oferecem toneladas de dados através do que chamam de produtos TIGER. Esse conjunto de dados é o mesmo que os profissionais de GIS usam para preencher mapas do Bing, mapas do Google etc.
No entanto, embora os dados possam estar disponíveis gratuitamente, isso não significa necessariamente que os dados dessa API exposta estejam legalmente disponíveis. Você diz que está no formato JSON, o que sugere que foi 'massageado' do formato original para esse formato - e que o formato personalizado pode estar sob propriedade intelectual. Aquele, Acredito, seria ilegal de usar, a menos que você tenha licença para usá-lo. Como outros aqui, não sou advogado, mas a empresa nem precisa apontar o dedo para você e chamá-lo de hacker. Dados proprietários são dados proprietários, mesmo que sejam entregues sem intenção. Você deve entrar em contato com a empresa e informar que todos esses dados estão expostos ao mundo externo e pedir permissão para usá-los. Sem fazer isso, e tendo essa pergunta na troca de pilhas como evidência, seria fácil construir um caso contra você. Você basicamente disse: "Isso não parece legítimo, mas eu gosto de qualquer maneira e quero ganhar dinheiro com isso". Novamente, não sou advogado, mas isso não parece uma ótima maneira de iniciar um julgamento.
O problema é que, se você estiver interessado em nomes de cidades e outros dados geográficos, quase tudo estará disponível gratuitamente, independentemente do país. A última vez que soube, os EUA publicam mais dados, mas existem dados disponíveis para praticamente todos os países. Eu hesito em dizer tudo apenas porque sou programador e provar que uma declaração "para todos" é difícil ... se você escolher um país arbitrário, as chances são melhores do que boas de que os dados estejam disponíveis. Se você tem um país específico em mente, vá para o GIS Stack Exchange . A principal coisa que você procura é chamada de "shapefiles", então faça uma pergunta como "Onde posso obter shapefiles para __________?" Há também o OpenStreetMapque é um mapa de código aberto. Não sei ao certo como é fácil obter os dados do shapefile, mas se você pode obtê-los (e não vejo por que você não conseguiria, você pode executar mapas offline com base localmente) informações armazenadas), então você tem todos os dados necessários e está legalmente livre. Você terá que gastar tempo massageando grandes quantidades de dados da maneira que desejar, mas os arquivos de forma são sempre muito bem definidos e fáceis de analisar.
fonte
Embora o closetnoc tenha discutido a questão dos dados em si, há uma preocupação legal maior: você não está autorizado a acessar a API que oferece os dados.
A linha de base para a maioria das leis sobre crimes de computador envolve a noção de "acesso não autorizado a um sistema de computador". Você não deve confundir essa referência à autorização no sentido legal com o conceito de autorização quando se trata de controle de acesso. O proprietário de um sistema não precisa garantir seu sistema para que o acesso seja ilegal, assim como você ainda está invadindo quando entra em uma casa com uma porta destrancada.
Nesse caso, a aparente falta de segurança não implica uma autorização para usá-lo. Até agora, o conceito de internet tem pouco precedente na jurisprudência, mas você pode imaginar o uso do protocolo HTTP 80 para implicar autorização pública para visualizar um site. Contrariamente, os protocolos RPC em segundo plano (mesmo que possam ser executados em solicitações HTTP) normalmente não são entendidos como publicamente disponíveis, a menos que o operador publique o serviço como tal, concedendo autorização de uso para terceiros.
Portanto, o uso contínuo da API para recuperar dados seria ilegal. O ato de obter um despejo de dados da API para criar seu próprio conjunto de dados também seria ilegal. Se o uso dos dados depois disso é ilegal é uma área cinzenta gigante, mas o closetnoc cobriu a maioria das preocupações.
Obviamente, se você modificar o despejo de dados após o fato de ser irreconhecível, será quase impossível provar que você cometeu um crime. Mas se você estiver enfrentando tantos problemas, por que não buscar os dados de uma fonte legal?
fonte
Provavelmente depende da natureza dos dados. Dados puros (pense na lista telefônica) não podem ter direitos autorais . Portanto, uma lista de cidades de uma API deve ser um jogo justo para copiar e mostrar aos usuários. No entanto, se essa API tiver descrições da cidade, essas descrições se enquadrarão na lei de direitos autorais e você não poderá usá-las sem violar os direitos autorais.
Se você pode copiar legalmente os dados, recomendo copiá-los para o seu próprio site para impedir que o uso da API seja interrompido prematuramente.
fonte
(IANAL, e leis e normas variam muito em todo o mundo, mas certas coisas tendem a permanecer consistentes devido aos tratados de PI. Se você tiver um problema profissional fora da sua especialidade, consulte um profissional.)
Geralmente, legalmente, uma API não é considerada "destinada ao consumo público", a menos que esteja documentada ativamente como uma API pública, com termos de serviço especificados. O fato de o público poder acessar a API não a torna pública.
Nos casos em que o status dos dados em si não é totalmente de domínio público, e em alguns casos em que claramente é de domínio público, a intenção da entidade que fornece a API é muito importante. Se o operador do site pretender que a API seja usada para alimentar uma página da Web dinâmica ou um aplicativo móvel (para citar dois exemplos comuns), qualquer outro uso será "não autorizado", a menos que seja especificamente autorizado em algum lugar. Se o consumidor pretendido era um trecho de código dinâmico em uma página específica da web, com o objetivo de colocar pixels compreensíveis para humanos em uma exibição de uma maneira específica, (esperançosamente) agradável e útil, qualquer outro uso não é autorizado.
A capacidade técnica de entrar em um edifício através de uma janela aberta sem abrir ou quebrar nada não o protegerá de ser preso por transgressão criminal ...
Além disso, quase nunca é aconselhável jogar jogos de "habilidade técnica" vs "intenção original" com um advogado de propriedade intelectual. Se nada mais, lembre-se de que os advogados que constantemente perdem esses casos não continuam sendo pagos por eles.
fonte
O que você está falando provavelmente está bem. Você está vinculando informações e transformando-as.
Ênfase minha. linky
Você está simplesmente usando um hiperlink, não está fazendo uma cópia, não está exibindo uma cópia, não está prejudicando os interesses dos negócios e está transformando-a. Eu diria que você tem todos os elementos necessários para ficar bem. Mas, IANAL.
fonte
É legal, desde que você não precise digitar uma senha para obtê-la, mas algumas empresas menos sofisticadas podem reivindicar hackers e solicitar um advogado a você de qualquer maneira. Você deve estar preparado para se defender. Você será considerado inocente, pois eles publicam seus dados ao público, mas pode custar-se para se defender. Os promotores e os policiais diferem para as corporações. Isso acontece frequentemente em avisos de segurança, em que alguém notifica uma empresa sobre uma falha de segurança e, em seguida, a empresa os cobra por hackers. A empresa também é livre para alterar a API sem aviso prévio, possivelmente quebrando seu aplicativo.
http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing
http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html
fonte