Quais são os seus exemplos favoritos em que a teoria da informação é usada para provar uma declaração combinatória pura de uma maneira simples?
Alguns exemplos em que posso pensar estão relacionados a limites mais baixos para códigos decodificáveis localmente, por exemplo, neste artigo: suponha que, para um monte de cadeias binárias de comprimento isso seja válido para todo , para diferente pares { },Então m é pelo menos exponencial em n, onde o expoente depende linearmente da razão média de . n i k i j 1 , j 2 e i = x j 1 ⊕ x j 2 . k i / m
Outro exemplo (relacionado) são algumas desigualdades isoperimétricas no cubo booleano (fique à vontade para elaborar isso em suas respostas).
Você tem exemplos mais legais? De preferência, curto e fácil de explicar.
fonte
Respostas:
A prova de Moser do construtor local Lemma de Lovasz . Ele basicamente mostra que, nas condições do lema local, o segundo algoritmo mais simples para SAT que você pode imaginar funciona. (O primeiro mais simples pode ser apenas tentar uma tarefa aleatória até que alguém funcione. O segundo mais simples é escolher uma tarefa aleatória, encontrar uma cláusula insatisfeita, satisfazê-la e depois ver quais outras cláusulas você quebrou, repetiu e repetiu até terminar.) A prova de que isso ocorre no tempo polinomial é talvez o uso mais elegante da teoria da informação (ou da complexidade de Kolmogorov, como você quiser chamar nesse caso) que eu já vi.
fonte
Meu exemplo favorito desse tipo é a prova baseada em entropia do Lema de Shearer's. (Aprendi sobre essa prova e várias outras muito bonitas da Entropy and Counting de Jaikumar Radhakrishnan .)
Reivindicação: Suponha que você tenha pontos em que tenham projeções distintas no plano , projeções distintas no plano e projeções distintas no plano . Então, .R 3 n x y z n y x z n z x y n 2 ≤ n x n y n zn R3 nx yz ny xz nz xy n2≤nxnynz
Prova: Seja um ponto uniformemente escolhido aleatoriamente dentre os pontos. Deixe , , denotam suas projecções no , e planos respectivamente. n p x p y p z y z x z x yp=(x,y,z) n px py pz yz xz xy
Por um lado, , , e , pelas propriedades básicas da entropia.H[p]=logn H [ p y ] ≤ log n y H [ p z ] ≤ log n zH[px]≤lognx H[py]≤logny H[pz]≤lognz
Por outro lado, temos e também adição das três últimas equações nos dá: , onde usamos o fato de que o condicionamento diminui a entropia (em geral, para quaisquer variáveis aleatórias ).H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [ z | x ] H [
Portanto, temos ou .n 2 ≤ n x n y n z2logn≤lognx+logny+lognz n2≤nxnynz
fonte
fonte
Exemplos muito bons estão contidos em dois artigos de Pippenger, Um Método Teórico da Informação em Teoria Combinatória. J. Comb. Teoria, Ser. A 23 (1): 99-104 (1977) e Entropia e enumeração de funções booleanas. IEEE Transactions on Information Theory 45 (6): 2096-2100 (1999). Na verdade, vários trabalhos de Pippenger contêm provas fofas de fatos combinatórios por meio de entropia / informação mútua. Além disso, os dois livros: Jukna, Combinatória Extremal Com Aplicações em Ciência da Computação e Aigner, Pesquisa Combinatória têm alguns bons exemplos. Também gosto dos dois artigos que Madiman et al. Desigualdades teóricas da informação em combinações aditivas e Terence Tao, estimativas do subconjunto Entropy (você pode encontrá-las no Google Scholar). Espero que ajude.
fonte
Outro ótimo exemplo é a prova alternativa de Terry Tao do lema de regularidade do gráfico de Szemerédi . Ele usa uma perspectiva teórica da informação para provar uma versão forte do lema da regularidade, que acaba sendo extremamente útil em sua prova do lema da regularidade para hipergráficos . A prova de Tao é, de longe, a prova mais concisa para o lema da regularidade do hipergrafo.
Deixe-me tentar explicar em um nível muito alto essa perspectiva teórica da informação.
fonte
Basicamente, existe todo um curso dedicado a essa pergunta:
https://catalyst.uw.edu/workspace/anuprao/15415/86751
O curso ainda está em andamento. Portanto, nem todas as notas estão disponíveis na hora de escrever isso. Além disso, alguns exemplos do curso já foram mencionados.
fonte
fonte
fonte
fonte
Análise de casos médios de algoritmos usando a complexidade de Kolmogorov por Jiang, Li, Vitanyi.
'Analisar a complexidade média dos algoritmos é um problema muito prático, mas muito difícil na ciência da computação. Nos últimos anos, demonstramos que a complexidade de Kolmogorov é uma ferramenta importante para analisar a complexidade de casos médios de algoritmos. Nós desenvolvemos o método de incompressibilidade [7]. Neste artigo, usamos vários exemplos simples para demonstrar ainda mais o poder e a simplicidade desse método. Provamos limites no número médio de pilhas (filas) necessárias para classificar Queueusort sequencial ou paralelo ou Stacksort. '
Veja também, por exemplo, a complexidade de Kolmogorov e um problema de triângulo do tipo Heilbronn .
fonte
A equivalência de amostragem e pesquisa por Scott Aaronson. Aqui ele mostra a equivalência do problema de amostragem e pesquisa na teoria da complexidade em relação à validade da Tese Estendida de Church-Turing. Teoria da informação padrão, teoria da informação algorítmica e complexidade de Kolmogorov são usadas de maneira fundamental.
Ele enfatiza:
" Vamos enfatizar que não estamos usando a complexidade de Kolmogorov apenas como uma conveniência técnica ou como uma abreviação para um argumento de contagem. Em vez disso, a complexidade de Kolmogorov parece essencial mesmo para definir um problema de pesquisa .. "
fonte
Essa é simples e também uma aproximação: quantas combinações de 10 6 de 10 9 , permitindo duplicatas? A fórmula correta é
Mas imagine dar instruções para caminhar ao longo de uma fileira de bilhões de baldes, jogando um milhão de bolas de gude nos baldes ao longo do caminho. Haverá ~ 10 9 "instruções para o próximo balde" e 10 6 instruções "drop a marble". A informação total é
que é uma maneira engraçada, mas bastante boa, de aproximar a contagem (log da) Eu gosto porque funciona se eu esquecer como fazer combinações. É equivalente a dizer que
que é como usar a aproximação de Stirling, cancelar e perder algo.
fonte
Uma aplicação recente muito agradável para fornecer limites superiores para permutações de alta dimensão por Linial e Luria está aqui: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf
fonte