EU Prefácio à Segunda Edição
III Prefácio
VI Prefácio à Terceira Edição
1 Capítulo 1: Palavras e Linguagem vs Números e Informação
Escrita, linguagem e matemática sempre tiveram similaridades desde seu início. Embora seu desenvolvimento tenha ido em direções diferentes, elas conseguiram se unir no final.
1 Informação
2 Texto e números
3 Matemática por trás das palavras e da linguagem
15 Capítulo 2 Processamento de Linguagem Natural - Das Regras à Estatística
Os humanos fizeram um longo desvio em sua compreensão da compreensão da linguagem natural. As primeiras pesquisas se concentraram em métodos baseados em regras, que resolveram alguns problemas simples, mas não conseguiram tornar a compreensão da linguagem natural fundamentalmente prática. Só mais de 20 anos depois é que as pessoas começaram a tentar métodos estatísticos para processamento de linguagem natural, o que levou a avanços e produtos práticos.
1. Inteligência de Máquina
2 Das regras às estatísticas
27 Capítulo 3 Modelos de Linguagem Estatística
Modelos estatísticos de linguagem são a base do processamento de linguagem natural e são amplamente utilizados em tradução automática, reconhecimento de fala, reconhecimento de impressão ou caligrafia, correção ortográfica, entrada de caracteres chineses e pesquisa bibliográfica.
1 Usando métodos matemáticos para descrever regras de linguagem
2 Leitura adicional: Dicas de engenharia para modelos de linguagem estatística
41 Capítulo 4: Particípios
A segmentação de palavras chinesas é a base do processamento de informações chinesas. Ela também passou por um desvio. Atualmente, esse problema foi basicamente resolvido com base em modelos estatísticos de linguagem.
1. Evolução dos métodos de segmentação de palavras chinesas
2 Leitura adicional: Como medir os resultados da segmentação de palavras
50 Capítulo 5 Modelos Ocultos de Markov
Os modelos ocultos de Markov foram usados primeiramente no campo das comunicações e, então, estendidos ao processamento de fala e linguagem, tornando-se uma ponte entre o processamento de linguagem natural e as comunicações. Ao mesmo tempo, os modelos ocultos de Markov também são uma das principais ferramentas para aprendizado de máquina.
1. Modelo de Comunicação
2 Modelo de Markov Oculto
3 Leitura adicional: Treinamento do modelo oculto de Markov
60 Capítulo 6 A medição e o papel da informação
A informação pode ser quantificada e medida. A entropia da informação não é apenas uma medida quantitativa da informação, mas também a base de toda a teoria da informação. Ela tem um forte significado orientador para comunicação, compressão de dados e processamento de linguagem natural.
1 Entropia da Informação
2 O papel da informação
3 Informação Mútua
4 Leitura adicional: Entropia relativa
72 Capítulo 7: Jarnik e o processamento da linguagem moderna
Como fundador do processamento moderno de linguagem natural, o Professor Jarnik aplicou com sucesso princípios matemáticos ao campo do processamento de linguagem natural, e sua vida é cheia de lendas.
1 Vida pregressa
2 De Watergate a Monica Lewinsky
3 Um milagre de um velho
82 Capítulo 8 A Beleza da Simplicidade - Álgebra Booleana e Mecanismos de Busca
Embora simples, a álgebra booleana é a base da ciência da computação. Ela não apenas combina lógica e matemática em uma, mas também nos dá uma perspectiva totalmente nova sobre o mundo e inaugura a era digital.
1 Álgebra Booleana
2 Índice
89 Capítulo 9 Teoria dos Grafos e Web Crawler
Antes de construir um índice, um mecanismo de busca da Internet precisa usar um programa para baixar automaticamente todas as páginas da web para o servidor. Esse programa é chamado de web crawler e é escrito com base nos princípios da teoria dos grafos em matemática discreta.
1 Teoria dos Grafos
2 rastreadores da web
3 Leitura adicional: Duas explicações adicionais sobre a teoria dos grafos
98 Capítulo 0 PageRank — Tecnologia de classificação de páginas da web de votação democrática do Google
PageRank é o recurso matador do Google antigo. Sua aparência melhorou muito a qualidade da busca em páginas da web. O princípio por trás dele é a operação matricial da teoria dos grafos e da álgebra linear.
1 Princípio do algoritmo PageRank
2 Leitura adicional: Como o PageRank é calculado
104 Capítulo 1 Como determinar a relevância de uma página da web para uma consulta
Determinar a relevância de uma página da web para uma consulta é um problema fundamental na pesquisa na web, e determinar a importância de cada palavra-chave na consulta é essencial. TF-IDF é uma medida comumente usada de importância de palavra-chave, e o princípio por trás dela é a teoria da informação.
1 Medição científica do peso da palavra-chave de pesquisa TF-IDF
2 Leitura adicional: Base teórica da informação do TF-IDF
111 Capítulo 2 Máquinas de estados finitos e programação dinâmica - Tecnologias básicas de mapas e busca local
Máquinas de estados finitos e programação dinâmica são usadas em mapas e buscas locais. Essas duas tecnologias são ferramentas para inteligência de máquina e aprendizado de máquina, e suas aplicações são extensas, incluindo reconhecimento de fala, correção ortográfica e gramatical, método de entrada pinyin, controle industrial e análise de sequência biológica.
1 Análise de endereços e máquina de estados finitos
2 Navegação e planejamento dinâmico
3 Leitura adicional: Sensor de estado finito
121 Capítulo 3 Designer do Google AK-47 - Dr.
O AK-47 é o mais famoso entre todas as armas leves porque nunca emperra, não é facilmente danificado, pode ser usado em qualquer ambiente, é confiável, grande e fácil de operar. Os produtos do Google são projetados de acordo com os princípios acima.
127 Capítulo 4 A Lei dos Cossenos e a Classificação das Notícias
Embora os computadores não consigam ler notícias, eles podem classificar notícias com precisão. Sua ferramenta matemática é a aparentemente irrelevante lei dos cossenos.
1 Vetor de característica de notícias
2 Medição de distância vetorial
3 Leitura adicional: Dicas para calcular o cosseno do vetor
136 Capítulo 5: Operações de matriz e dois problemas de classificação em processamento de texto
Seja agrupamento de vocabulário ou classificação de texto, isso pode ser feito por meio da decomposição de valor singular de matrizes em álgebra linear. Dessa forma, o problema do processamento de linguagem natural se torna um problema matemático.
1 Matriz de texto e vocabulário
2 Leitura adicional: Métodos de decomposição de valor singular e cenários de aplicação
142 Capítulo 6 Impressão digital da informação e sua aplicação
Tudo no mundo tem uma característica de identificação, assim como a informação. Cada pedaço de informação tem sua própria impressão digital específica, e diferentes informações podem ser distinguidas por essa impressão digital.
1 Impressão digital de informações
2 Finalidade da impressão digital da informação
3 Leitura adicional: Repetibilidade e similaridade de impressões digitais de informação
153 Capítulo 7 Reflexões da série de TV "O Cálculo Secreto" - Discutindo os princípios matemáticos da criptografia
A raiz da criptografia é a teoria da informação e a matemática. Sem a orientação da teoria da informação, as senhas são fáceis de quebrar. Somente depois que a teoria da informação é amplamente usada na criptografia, as senhas se tornam realmente seguras.
1 A Era Espontânea da Criptografia
2 Criptografia na Era da Teoria da Informação
162 Capítulo 8 Nem tudo que reluz é ouro - Discutindo a questão do mecanismo de busca antifraude e a questão do sexo nos resultados de pesquisa
Nem tudo que reluz é ouro, e as páginas da web que têm alta classificação nos mecanismos de busca não são necessariamente páginas úteis. O princípio de eliminar essas páginas da web trapaceiras é o mesmo que o princípio de filtrar ruídos na comunicação. Isso mostra que muitos princípios de processamento de informações e comunicação estão interligados.
1 Mecanismo de busca anti-fraude
2 Sexo dos resultados da pesquisa
171 O Capítulo 9 discute a importância dos modelos matemáticos
O modelo matemático certo é crucial na ciência e na engenharia, e o caminho para encontrar o modelo certo é frequentemente tortuoso. O modelo certo é geralmente simples na forma.
179 Capítulo 20 Não coloque todos os ovos na mesma cesta - Fale sobre o grande modelo de entropia
O Big Entropy Model é um modelo matemático. Ele pode integrar várias informações em um modelo unificado e tem uma ampla gama de aplicações em processamento de informações e aprendizado de máquina. Ele é simples e bonito na forma, mas requer uma base matemática profunda e excelentes habilidades em sua implementação.
1 Princípio da Grande Entropia e Modelo da Grande Entropia
2 Leitura adicional: Treinamento do modelo de grande entropia
186 Capítulo 21 Princípios matemáticos do método de entrada Pinyin
O processo de entrada de caracteres chineses é em si uma comunicação entre pessoas e computadores. Um bom método de entrada seguirá consciente ou inconscientemente o modelo matemático de comunicação. Claro, para fazer um método de entrada eficaz, devemos usar conscientemente a teoria da informação como um guia.
1 Método de entrada e codificação
2 Quantas teclas são necessárias para inserir um caractere chinês? Falando sobre o Teorema de Shannon
3 Algoritmo para converter pinyin em caracteres chineses
4 Leitura adicional: Modelo de linguagem personalizado
197 Capítulo 22: Marcus, o Padrinho do Processamento de Linguagem Natural e Seus Discípulos
Mickey Marcus, um professor da Universidade da Pensilvânia, fez grandes contribuições para a transformação do processamento de linguagem natural de um método de pesquisa baseado em regras para um método de pesquisa estatística. Ele criou o corpus LCD, que é amplamente usado na academia, e treinou um grande número de elites.
1 Padrinho Marcus
2 Elites da Universidade da Pensilvânia
204 Capítulo 23 Filtros Bloom
Na vida cotidiana, frequentemente precisamos determinar se um elemento está em um conjunto. O filtro Bloom é um bom método matemático para resolver esse problema em engenharia de computação.
ferramenta.
1 Princípio do filtro Bloom
2 Leitura adicional: Problema de identificação incorreta do filtro Bloom
209 Capítulo 24 Extensões de Cadeias de Markov - Redes Bayesianas
A rede bayesiana é um grafo direcionado ponderado, que é uma extensão da cadeia de Markov. De uma perspectiva epistemológica, a rede bayesiana supera as restrições lineares mecânicas da cadeia de Markov e pode unificar quaisquer eventos relacionados sob sua estrutura. É amplamente usada em bioestatística, processamento de imagens, sistemas de suporte à decisão e teoria dos jogos.
1 Rede Bayesiana
2 Aplicação da Rede Bayesiana na Classificação de Palavras
3 Leitura adicional: Treinamento de redes bayesianas
217 Capítulo 25 Campos aleatórios condicionais, análise gramatical e outros
Campos aleatórios condicionais são um modelo eficaz para calcular distribuições de probabilidade conjuntas, enquanto a análise gramatical de sentenças parece ser algo que os professores de inglês ensinam em aulas de inglês. Qual é a conexão entre os dois?
1. Análise gramatical: a evolução dos algoritmos de computador
2 Campos aleatórios condicionais
3 Aplicações de Campos Aleatórios Condicionais em Outros Campos
227 Capítulo 26 Viterbi e seu algoritmo de Viterbi
O algoritmo de Viterbi é um algoritmo frequentemente usado em comunicações digitais modernas e também é um algoritmo de decodificação usado em muitas aplicações de processamento de linguagem natural.
Na verdade, Viterbi é um dos cientistas que mais influenciam nossas vidas, porque o padrão de comunicação móvel 3G baseado em CDMA foi desenvolvido principalmente pela Qualcomm, que foi fundada por ele e Irwin Jacob.
1 Algoritmo de Viterbi
2 Tecnologia CDMA - a base das comunicações móveis 3G
238 Capítulo 27 Algoritmo de Deus - Algoritmo de Maximização Esperada
Desde que haja alguns dados de treinamento, uma função de maximização seja definida, o algoritmo EM seja usado e o computador seja usado para várias iterações, o modelo necessário pode ser obtido. Isso é realmente maravilhoso e pode ser deliberadamente arranjado pelo Criador, então eu o chamo de algoritmo de Deus.
1 Classificação autoconvergente de texto
2 Leitura adicional: A inevitabilidade da maximização da expectativa e da convergência
244 Capítulo 28 Regressão Logística e Publicidade em Busca
O modelo de regressão logística é um modelo exponencial que combina diferentes fatores que afetam a probabilidade. Ele não só desempenha um papel importante na publicidade de busca, mas também é amplamente usado no processamento de informações e bioestatística.
1 Desenvolvimento da publicidade de pesquisa
2 Modelo de regressão logística
249 Capítulo 29: Noções básicas do algoritmo de derrota e do Google Cloud Computing
O princípio do MapReduce, uma ferramenta importante na computação em nuvem um tanto misteriosa do Google, é o algoritmo "quebre um por um" comumente usado em algoritmos de computador. Seu princípio é tão simples - divida um problema complexo em muitos problemas pequenos e resolva-os separadamente, e então mescle as soluções para os problemas pequenos na solução para o problema original. Isso mostra que os métodos que são amplamente usados na vida e são realmente úteis são frequentemente simples e claros.
1 O princípio do algoritmo de dividir para conquistar
2 De Algoritmos de Divisão e Conquista ao MapReduce
254 Capítulo 30 Google Brain e Redes Neurais Artificiais
O Google Brain não é um cérebro que pode pensar em tudo, mas uma rede neural artificial que é muito capaz de cálculo. Portanto, em vez de dizer que o Google Brain é muito inteligente, é melhor dizer que ele é muito capaz de cálculo. No entanto, de outra perspectiva, com a melhoria contínua do poder de computação, métodos matemáticos simples com grande quantidade de cálculo podem, às vezes, resolver problemas muito complexos.
1 Redes Neurais Artificiais
2 Treinamento da Rede Neural Artificial
3 Relação entre redes neurais artificiais e redes bayesianas
4 Leitura adicional: Google Brain
274 Capítulo 31 Fundamentos matemáticos do blockchain - Princípio da criptografia de curva elíptica
Hilbert disse: "Não podemos dominar uma ciência natural até que possamos desnudar e revelar completamente seu núcleo matemático." A base da criptomoeda representada pelo Bitcoin são algoritmos matemáticos. Somente entendendo o núcleo matemático da criptomoeda podemos entender sua essência.
1. A beleza da assimetria e da opacidade
2 Princípios da Criptografia de Curva Elíptica
282 Capítulo 32 O Poder do Big Data - Falando sobre a Importância dos Dados
Se o setor de TI se desenvolveu de acordo com a Lei de Moore nos últimos 40 anos, nos próximos 20 anos, a força motriz para seu desenvolvimento contínuo virá dos dados.
1. Importância dos dados
2 Estatística e tecnologia da informação
3 Por que precisamos de big data?
304 Capítulo 33 Os benefícios da aleatoriedade - A matemática da distribuição de chaves quânticas
As pessoas sempre preferem certeza à aleatoriedade. No entanto, a ascensão da compreensão das leis da certeza para a compreensão das leis da aleatoriedade é precisamente o símbolo do progresso da matemática moderna. A comunicação quântica é baseada na compreensão das leis da aleatoriedade.
1 Usando a direção de polarização dos quanta (laser) para transmitir informações
2 Usando aleatoriedade para garantir a segurança da informação
312 Capítulo 34 Os Limites da Matemática - Décimo Problema de Hilbert e os Limites da Inteligência da Máquina
Apenas um pequeno número de problemas no mundo são problemas matemáticos, e apenas um número muito pequeno de problemas matemáticos tem soluções. Entre esses problemas, muito poucos encontraram algoritmos correspondentes. Portanto, a matemática não é perfeita, e precisamos entender onde estão os limites da matemática.
1 Turing define os limites dos problemas computáveis por computador
2 Hilbert define os limites dos problemas matemáticos solucionáveis
3 Leitura adicional: Sobre a Máquina de Turing
323 Apêndice Complexidade Computacional
327 Posfácio à Terceira Edição
333 Índice