Definições de equivalência de Kolmogorov-Complexity

Existem muitas maneiras de definir a Complexidade Kolmogorov e , geralmente, todas essas definições são equivalentes a uma constante aditiva. Isto é, se e são Kolmogorov funções de complexidade (definida através de diferentes línguas ou modelos), então existe uma constante tal que, para cada corda , . Acredito que isso ocorre porque para cada função de complexidade Kolmogorov e para cada ela sustenta que , por alguma constante . $K_1$ $K_2$ $c$ $x$ $|K_1(x) - K_2(x)| < c$ $K$ $x$ $K(x) \le |x| +c$ $c$

Estou interessado nas seguintes definições de , baseadas em máquinas de Turing $K$

número de estados : Defina como o número mínimo modo que uma TM com estados produza $K_1(x)$ $q$ $q$ $x$ na sequência vazia.
$K_2(x)$ $x$ $M$ $\langle M \rangle$ $K_2(x) = \min |\langle M \rangle|$ $M$ $x$

São $K_1$ e $K_2$ equivalente? Qual é a relação entre eles e qual deles apreende melhor o conceito de complexidade de Kolmogorov, se não forem equivalentes.

O que mais me incomoda é a taxa aumentar com , que parece não ser super-linear (ou pelo menos linear com a constante tal que , em vez de ). Considere a TM mais simples que gera - aquela que apenas codifica como parte de sua função de estados e transições. é imediato ver que . No entanto, a codificação da mesma máquina é muito maior, e o limite trivial que recebo é . $K_2$ $x$ $C>1$ $K_2 < C|x|$ $|x|+c$ $x$ $x$ $K_1(x) \le |x|+1$ $K_2(x) \le |x|\log |x|$

computability kolmogorov-complexity Tocou.
fonte

Existem mais de

2^{n^{2}}

$2^{n^2}$ máquinas com

n

$n$ estados e seu tamanho médio é pelo menos

n^{2}

$n^2$ ; portanto, é improvável que elas diferam apenas por uma constante aditiva.

Kaveh

Existe um limite bem conhecido de quepara alguns fixos, não depende de . Isso ocorre porque podemos codificar em um idioma sem prefixo apenas dobrando cada bit de e terminando com . Isso leva bits para representar . Assim, como é definido em termos de uma máquina universal sem prefixos, para alguns fixos . Isso pode ser melhorado usando uma maneira mais inteligente de codificar em um idioma livre de prefixo.

K_{2} (x) \leq c + 2 | x |

$K_2(x) \leq c + 2|x|$

c

$c$

x

$x$

x

$x$

x

$x$

01

$01$

2 | x | + 2

$2|x| + 2$

x

$x$

K_{2}

$K_2$

K_{2} (x) \leq 2 | x | + 2 + c^{'}

$K_2(x) \leq 2|x| + 2 + c'$

c

$c$

x

$x$

Carl Mummert

Não vejo como. Parece que é fornecido como parte da codificação (como dados brutos) ou você deve construir por sua máquina de estado. A primeira opção parece estar traindo e eu não vejo como ele pode ser comparável com a segunda opção (o que implica )

x

$x$

x

$x$

K_{1}

$K_1$

Ran G.

@Ran G .: O ponto principal é o teorema da invariância descrito em en.wikipedia.org/wiki/Invariance_theorem . Se eu puder descrever qualquer sistema eficaz que tenha uma taxa de crescimento deentão uma máquina universal de Turing (como você descreve para ) atenderá a isso dentro de uma constante aditiva. A máquina universal é aquela que leva entrada e retorna a saída de se parar.

2 | x |

$2|x|$

K_{2}

$K_2$

⟨ M ⟩

$\langle M\rangle$

M

$M$

M

$M$

Carl Mummert

Peço desculpas antecipadamente por dar muitos detalhes, mas estou prestes a contradizer as pessoas.

Sobre $K(x)≤K'(x)+c$

O fato de geralmente vir de um intérprete da linguagem de descrição # 2 para a linguagem de descrição # 1 e não de uma tradução dos programas de # 2 para os programas de # 1. $K_1(x)≤K_2(x)+c$

Por exemplo, e você obtém essa desigualdade da seguinte maneira: $K_\mathtt{C}(x)≤K_\mathtt{Python}(x)+c_\mathtt{py2c}$

void py_run(char * s) {
    // code of your Python interpreter
}

int main(void) {
    py_run("Put here your Python program of size Kpython(x)");
}

Então sua constante será algo como que é o número de bits desse código e bits é o tamanho que o interpretador Python oficial escrito em C. É claro que você só precisa interpretar o que é possível na linguagem de descrição do Python para que você possa fazer melhor que 69 MB :-) $c_\mathtt{py2c}$ $528+490240688$ $528$ $490240688$

O importante é que você possa escrever seu programa Python linearmente no seu código C. Por exemplo, um idioma em que você precisa colocar "BANANA" entre todos os caracteres não é um programa de descrição muito bom e a propriedade é falsa. (Mas se o idioma da descrição autorizar você a gravar dados em um arquivo separado ou em um bloco, esse problema desaparecerá)

Por que seu é defeituoso $K_1(x)=q$

O problema com sua definição de é que você pode precisar de mais de bits para descrever uma máquina de Turing com estados , porque é necessário codificar transições. $K_1$ $q$ $q$

Portanto, não e provavelmente não são equivalentes, mas isso é principalmente culpa 's. Penso que podemos provar que para todo existe um tal que . É claro que qualquer é suficiente para refutar o fato de que não é uma função válida, pois isso significa que podemos codificar mais todas as possíveis seqüências de comprimento em bits . $K_1$ $K_2$ $K_1$ $a>0$ $c_a$ $K_1(x)≤a|x|+c_a$ $a<1$ $K_1$ $2^n$ $n$ $an+c_a$

Mas o tamanho é incrivelmente limitado quando se constrói máquinas de Turing. A idéia é que, em um bloco de estados , existem maneiras de encontrar transições para cada estado e isso é melhor do que as formas comuns você pode preencher bits. Então você pode armazenar em cada bloco bits de informação. (não porque você precisa entrar e sair do bloco de uma forma ou de outra) $b$ $b^{2b}$ $2^b$ $b$ $\log_2 b$ $2\log_2 b$

Então sim ... Com blocos de tamanho você provavelmente poderia provar . Mas eu já escrevi muito sobre por que o número de estados não é uma função de complexidade válida de Kolmogorov. Se você quer que eu elabore, eu irei. $2^{1/a}$ $K_1(x)≤a|x|+c_a$

Agora sobre $K_2$

A linguagem descritiva ingênua corresponde aproximadamente a (ou seja, para cada próximo estado e detalhes sobre gravação e terminação). $K_2(x)=q\cdot 2 \cdot (\log_2 q + 2)$ $\log_2q$

Como você parece, estou convencido de que uma maneira melhor / trapaceira seria autorizar a codificação de "dados" na máquina de Turing, talvez adicionando uma tag binária na linguagem de descrição que diz se um estado é um estado de dados ( que apenas escreve um pouco e passa para o próximo estado) ou se faz outra coisa. Dessa forma, você pode armazenar um pouco do seu em um pouco da sua linguagem descritiva. $x$

No entanto, se você mantiver o mesmo poderá usar a mesma técnica que usei na parte anterior para economizar alguns bits, mas pareço estar preso no (para qualquer ) .. talvez menor que, mesmo, mas obter parece difícil. (E espero que deva ser , nem mesmo .) $K_2$ $K_2(x)≤a|x|\log|x|+c$ $a>0$ $\log|x|$ $O(|x|)$ $|x|$ $O(|x|)$

jmad
fonte

você afirma que não é uma função de complexidade kolmogorov? Isso é muito surpreendente para mim, já que é na verdade a definição usada em algum curso de introdução à computabilidade que já tomei (não que ele diga algo sobre sua correção).

K_{1}

$K_1$

K_{1}

$K_1$

Ran G.

Bem, o fato de que é bastante perturbador. Considere o seguinte: existem palavras possíveis de bits e você pode codificá-las usando a bits? Isso implicaria (a codificação precisa ser injetável) #

K_{1} (x) \leq \frac{1}{2} | x | + c

$K_1(x)≤\frac12|x|+c$

2^{n}

$2^n$

n

$n$

\frac{1}{2} n + c

$\frac12n+c$

2^{n} = O (2^{\frac{1}{2} n})

$2^n=O(2^{\frac12n})$

447 jmad

E se o programa python tiver caracteres reservados por C?

PyRulez

Definições de equivalência de Kolmogorov-Complexity

Respostas:

SobreK(x)≤K′(x)+cK(x)≤K′(x)+cK(x)≤K'(x)+c

Por que seu é defeituosoK1(x)=qK1(x)=qK_1(x)=q

Agora sobreK2K2K_2

Sobre $K(x)≤K'(x)+c$

Por que seu é defeituoso $K_1(x)=q$

Agora sobre $K_2$