Analisando XML, JSON e formatos de arquivo de dados mais recentes no UNIX usando utilitários de linha de comando

O ambiente Unix possui excelentes ferramentas para analisar texto de várias formas. No entanto, ultimamente, os dados não estão nos formatos tradicionais (históricos) (CSV, TSV, baseados em registros ou outros delimitadores) que costumavam ser antes. Atualmente, os dados são trocados em formatos estruturados como XML / JSON.

Eu sei que existem algumas boas ferramentas como sed, awk e Perl que podem mastigar praticamente qualquer forma de dados por aí. No entanto, para trabalhar com esse tipo de dados estruturados, muitas vezes é preciso escrever um programa completo e, dado o pouco tempo disponível para extrair informações, é preciso sentar e descobrir toda a lógica do que se deseja consultar e colocar. programaticamente. Às vezes, isso não é bom - basicamente porque as informações extraídas desses arquivos funcionam como entradas para trabalhos futuros; também devido ao tempo necessário para procurar a solução apropriada e codificá-la. É necessária uma ferramenta de linha de comando com opções suficientes para localizar, consultar e despejar dados.

Estou procurando ferramentas que pegam um XML / JSON ou outras formas de dados estruturados e os despejam em outros formatos como csv etc., para que a partir daí possa-se usar outros comandos para extrair informações.

Você conhece algum utilitário de linha de comando que faça esse tipo de trabalho? Já existem scripts awk / Perl disponíveis para isso?

para xml existe http://xmlstar.sourceforge.net/

O XMLStarlet é um conjunto de utilitários de linha de comando (ferramentas) que podem ser usados ​​para transformar, consultar, validar e editar documentos e arquivos XML usando um conjunto simples de comandos shell da mesma maneira que é feito para arquivos de texto sem formatação usando UNIX grep, sed, comandos awk, diff, patch, join, etc.

você também pode usar xsltprocferramentas semelhantes ( saxon).

para json: também acho melhor usar python, ruby, perl e transformá-lo.

Eu acho que os módulos Perl, Python ou Ruby podem ser usados ​​com sucesso para isso. E qualquer um desses pode ser usado para scripts.