●Prefácio
Capítulo 1 Noções básicas de Big Data científico 1
1.1 Conceitos básicos de Big Data 1
1.1.1 Geração de Big Data 1
1.1.2 Características do Big Data 2
1.1.3 Dragão de Big Data 4
1.1.4 Big Data Científico 4
1.2 Grande Instalação Científica de Física de Altas Energias 6
1.2.1 Experimento 7 do Grande Colisor de Hádrons
1.2.2 Espectrômetro de Pequim III Experimento 9
1.2.3 Experimentos de Neutrinos de Daya Bay e Jiangmen10
1.2.4 Estação de Observação Espacial de Alta Altitude 11
1.2.5 Fonte de nêutrons hash da China 13
1.2.6 Fonte de radiação síncrotron de alta energia14
1.3 Processamento de Dados Offline de Física de Altas Energias 16
1.3.1 Processo básico de processamento de dados 16
1.3.2 Armazenamento de dados 16
1.3.3 Transmissão de Dados 18
1.3.4 Cluster de Computação 19
1.3.5 Suborno e Computação Distribuída 20
1.3.6 Armazenamento de dados de longo prazo e compartilhamento aberto 22
1.4 Características do Big Data em Física de Altas Energias 22
1.5 Resumo do Capítulo 24
Questão 24
Referência 24
Capítulo 2 Física de Altas Energias Sistema de Gerenciamento de Big Data 26
2.1 Arquitetura de Sistema de Big Data 26
2.1.1 Infraestrutura de TI26
2.1.2 Coleta e limpeza de dados 27
2.1.3 Armazenamento massivo de dados 29
2.1.4 Processamento Paralelo de Dados 32
2.1.5 Ferramentas de análise e mineração de dados 35
2.2 Infraestrutura de Big Data 36
2.3 Gerenciamento do ciclo de vida dos dados 38
2.4 Plataforma e desenvolvimento de computação em física de altas energias 42
2.5 Resumo do Capítulo 44
Pergunta 44
Referências 44
Capítulo 3 Tecnologia de Armazenamento e Sistema 46
3.1 Hardware de Armazenamento e Desenvolvimento 46
3.1.1 Disco 46
3.1.2 Fabricação de cerveja em estado sólido 49
3.1.3 Fita 52
3.1.4 CD 53
3.2 Codificação de matriz de disco 53
3.2.1 Tecnologia RAID 53
3.2.2 Pool de Discos Dinâmicos 57
3.2.3 Codificação de Apagamento 58
3.3 Sistema de Arquivos Distribuídos 60
3.3.1 Desenvolvimento de Sistemas de Arquivos Distribuídos 60
3.3.2 Semântica de acesso a arquivos 63
3.3.3 Projeto do Sistema de Arquivos 64
3.4 Gerenciamento de fitas e armazenamento em camadas 65
3.4.1 Leitura e Escrita de Dados 66
3.4.2 Leitura e gravação de arquivos em um local especificado 66
3.4.3 Gerenciamento de metadados de arquivos de fita 68
3.4.4 Bibliotecas de fitas, volumes de fita e unidades de fita 69
3.4.5 Sistema de Arquivos de Fita Virtual 70
3.4.6 Armazenamento em camadas 70
3.5 Análise do sistema real 71
3.5.1 Brilho 71
3.5.2 EOS 74
3.6 Resumo do Capítulo 76
Pergunta 76
Referências 76
Capítulo 4 Gerenciamento de Casos e Metadados 78
4.1 Organização de Casos de Física de Altas Energias 78
4.1.1 Definição de caso de física de altas energias 78
4.1.2 Estrutura do Caso 78
4.1.3 Análise de dados de física de alta energia baseada em casos 80
4.2 Índice de características do caso 81
4.2.1 Índice de avanço 81
4.2.2 Índice Invertido 81
4.2.3 Índice de Características de Eventos em Física de Altas Energias 84
4.3 Organização de Metadados de Física de Altas Energias 85
4.3.1 O conceito e a importância dos metadados 85
4.3.2 Métodos de organização e gestão de metadados 86
4.3.3 Sistema de Contabilidade 86
4.4 Anatomia do Sistema de Exibição Oblíqua (EventDB) 87
4.4.1 Extração de características do caso 88
4.4.2 Fusão de banco de dados de índice de caso e condição de consulta 89
4.4.3 Cache Orientado a Casos 89
4.4.4 Transmissão de dados orientada a casos 94
4.4.5 Análise de desempenho do sistema EventDB 95
4.4.6 Análise de Caso Baseada no EventDB 97
4.5 Resumo do Capítulo 98
Pergunta 99
Referências 99
Capítulo 5 Física de Altas Energias - Modelo 101 de Processamento de Big Data
5.1 Computação de alto rendimento 101
5.1.1 PBS 101
5.1.2 HTCondor 102
5.2 Computação de Alto Desempenho 104
5.2.1 Introdução ao SLURM 105
5.2.2 Agendamento de tarefas SLURM 105
5.2.3 Gerenciamento de Recursos SLURM 106
5.2.4 Tarefa SLURM em execução 106
5.3 Computação de Fluxo 107
5.3.1 Ferramentas de integração de dados em tempo real 108
5.3.2 Modelo de Fila de Mensagens 111
5.3.3 Processo de Computação de Fluxo 113
5.3.4 Sistema de Computação de Fluxo 115
5.4 Computação Interativa 116
5.4.1 JupyterLab 117
5.4.2 Kubemetes 118
5.5 Resumo do Capítulo 119
Pergunta 119
Referências 119
Capítulo 6 Física de Altas Energias Ferramentas de Análise de Big Data 121
6.1 Ferramentas matemáticas e estatísticas 121
6.1.1 Introdução ao Python 121
6.1.2 Introdução a Julia 121
6.1.3 Introdução ao Maxima 122
6.2 Software de Visualização de Dados 124
6.2.1 RAIZ 124
6.2.2 gnuplot 128
6.2.3 Máxima 140
6.2.4 Júlia 145
6.2.5 Recursos de aprendizagem 149
6.3 Ferramentas de simulação de física de partículas 150
6.3.1 Introdução ao Geant4 150
6.3.2 Instalação e Configuração 151
6.3.3 Introdução ao programa Geant4 IS 154
6.3.4 Recursos de aprendizagem 160
6.4 Resumo do Capítulo 160
Pergunta 161
Referências 161
Capítulo 7 Física de Altas Energias Computação em Nuvem 162
7.1 Introdução à Computação em Nuvem 162
7.1.1 Conceito de computação em nuvem 162
7.1.2 Tecnologia de Virtualização 163
7.1.3 Computação em nuvem e computação em grade 165
7.1.4 Física de Altas Energias e Computação em Nuvem 166
7.2 Sistema de cluster de computação em nuvem física de alta energia 169
7.2.1 Teste de desempenho e otimização de máquinas virtuais KVM 169
7.2.2 Teste de desempenho de tarefas de física de alta energia em máquinas virtuais 169
7.2.3 Plataforma de gerenciamento de recursos de cluster virtual de física de altas energias 170
7.3 Gerenciamento e agendamento de recursos de computação elástica 172
7.3.1 Algoritmos de gerenciamento elástico de recursos para múltiplas aplicações de física de altas energias 172
7.3.2 Uma estrutura flexível de gerenciamento de recursos para aplicações de física de alta energia 173
7.4 Contêineres e Agendamento 177
7.4.1 Visão geral da tecnologia de contêineres 177
7.4.2 Contêineres e Máquinas Virtuais 178
7.4.3 Aplicação da tecnologia de contêineres no país e no exterior 180
7.4.4 Aplicação da tecnologia de contêineres de física de alta energia 180
7.5 Introdução ao Caso 184
7.6 Resumo do Capítulo 185
Pergunta 185
Referências 186
Capítulo 8 Tecnologia de gerenciamento de dados inter-regionais 188
8.1 Gerenciamento de Dados de Grade 208
8.1.1 Objetivos da gestão de dados 188
8.1.2 Arquitetura de Gerenciamento de Dados de Rede 189
8.2 Gestão Global de Dados 201
8.2.1 Espaço de Nomes Unificado 191
8.2.2 Algoritmo Kademlia 203
8.2.3 IPFS 194
8.3 Gerenciamento de Recursos de Armazenamento 206
8.3.1 Visão geral do gerenciamento de recursos de armazenamento 196
8.3.2 Posicionamento SRM 197
8.3.3 Gerenciamento de arquivos e espaço SRM 208
8.3.4 Exemplos de aplicação do SRM 209
8.3.5 Contabilidade de recursos de armazenamento 200
8.4 Aliança de Dados e Lago de Dados 201
8.4.1 Aliança de Dados 201
8.4.2 Lago de Dados 202
8.5 Dissecação e Análise Prática de Sistemas ff 203
8.5.1 Sistema de Gerenciamento de Dados Distribuídos Rucio $ 203
8.5.2 Dynafed 208
8.6 Resumo do Capítulo 211
Pergunta 211
Referências 211
Capítulo 9 Preservação de longo prazo e abertura de dados de física de alta energia 213
9.1 Visão geral 213
9.2 Classificação de Dados de Física de Altas Energias 214
9.2.1 Nível de preservação de dados 214
9.2.2 Modelo de Compartilhamento de Dados 216
9.3 Estratégia de armazenamento de dados de longo prazo 217
9.3.1 Metas de preservação de dados de longo prazo 218
9.3.2 Armazenamento de longo prazo de dados de nível de bits 219
9.3.3 Preservação de longo prazo de ambientes de computação 220
9.3.4 Armazenamento de longo prazo de processos analíticos 221
9.4 Identificação de Dados 222
9.4.1 Organização de identificadores 222
9.4.2 Vários sistemas de identificação de dados recomendados 223
9.5 Recuperação de Dados 224
9.5.1 Dados HEP 224
9.5.2 Dados Abertos do CERN 225
9.6 Análise de Caso 225
9.7 Resumo do Capítulo 228
Pergunta 228
Referências 228
Capítulo 10 Aplicações de Aprendizado Profundo em Física de Altas Energias Big Data 230
10.1 Aprendizado profundo e conhecimento relacionado 230
10.1.1 Princípios básicos do Deep Learning 230
10.1.2 Classificação baseada em redes neurais profundas 232
10.1.3 Classificação e predição baseadas em redes neurais convolucionais.232
10.1.4 Classificação baseada em aprendizagem não supervisionada 236
10.2 Compressão de dados baseada em aprendizado profundo 238
10.2.1 Métodos básicos de compressão de dados 238
10.2.2 Compressão de Dados Baseada em Redes Neurais 244
10.3 Gerenciamento de armazenamento de dados baseado em dados 254
10.3.1 Gerenciamento de hierarquia de dados baseado em aprendizagem supervisionada 254
10.3.2 Ajuste automático de parâmetros baseado em aprendizagem por reforço 264
10.3.3 Detecção de anomalias com base em aprendizagem não supervisionada 269
10.4 Resumo do Capítulo 273
Pergunta 274
Referências 274
Capítulo 11 Perspectivas sobre Tecnologias de Fronteira 277
11.1 Armazenamento de alto desempenho 277
11.1.1 Desenvolvimento de Hardware de Armazenamento 277
11.1.2 Otimização de armazenamento SSD 283
11.1.3 Kit de Desenvolvimento de Armazenamento de Alto Desempenho 287
11.1.4 Sistemas de arquivos baseados em Flash 290
11.1.5 Armazenamento de Objetos Heterogêneos Distribuídos 294
11.2 Armazenamento Computacional 297
11.2.1 Desafios da Arquitetura de Sistemas Tradicional 297
11.2.2 Arquitetura de Armazenamento Computável 300
11.2.3 Aplicações típicas de armazenamento computacional 302
11.3 Organização e Gestão de Dados 497
11.3.1 Desafios Futuros 305
11.3.2 Organização de Dados 306
11.3.3 Gerenciamento de Dados 308
11.3.4 Acesso a Dados 309
11.4 Resumo do Capítulo 310
Pergunta 310
Referências 311

Este livro apresenta tecnologias experimentais de armazenamento e gerenciamento de dados na área de física de altas energias e explica de forma abrangente tecnologias-chave, como arquitetura de gerenciamento de dados, projeto e implementação de sistemas de armazenamento massivo, gerenciamento de dados distribuídos entre regiões, bancos de dados orientados a casos e preservação e compartilhamento de dados a longo prazo. Ênfase especial é dada a como lidar com os desafios massivos de gerenciamento de dados trazidos por grandes instalações científicas em física de altas energias, incluindo processamento distribuído, mineração de dados profunda e compartilhamento aberto de dados científicos. Por meio de análise de casos e aplicações práticas, demonstra-se a importância e as soluções práticas do gerenciamento científico de big data na pesquisa em física de altas energias. Este livro é adequado para engenheiros, pesquisadores e estudantes de pós-graduação envolvidos em física de altas energias, gerenciamento de big data e armazenamento e processamento de dados científicos. É particularmente adequado para profissionais com necessidades em experimentos de física de altas energias, projetos científicos de larga escala e projeto de sistemas de armazenamento e processamento de dados. Possui grande valor de referência para leitores que desejam obter uma compreensão mais aprofundada do gerenciamento de dados em larga escala e sua aplicação em pesquisa científica.