A visão do Google que objetiva a experiência do usuário como resultado final e o modelo horizontal de suas aplicações eram coisas que eu não tinha parado para pensar. Bem, quem vê a tela branca do Google e sua enorme eficácia de resultado (tanto na experiência visual quanto na experiência [quase que maravilhosamente] exata de seus resultados pode ter uma idéia. Mas não tem idéia de coisas como essas abaixo:
Deixa que eu chuto (ops, que eu monto!!!)
Você sabia que o Google é o quinto maior montador de computadores do mundo? Sim, o Google compra hardware de baixo nível (placas, HDs, etc.) e monta seus computadores (ou melhor dizendo, super clusters de computadores), incluindo até a escrita da BIOS, uma versão específica de linux e camadas (e mais camadas) de software para garantir disponibilidade, digamos, eterna. Sistemas de guarnição monitoram a si mesmos e avisam detalhadamente cada pequenino erro no gigantesto e distribuído computador virtual. Milhares de processadores distribuídos em vários de centros de processamento. O cara do suporte simplesmente recebe um avison no desktop: Ei panga, vai lá no slot 1542 do módulo 32 e troca o HD. O panga vai, tira o HD pifado (ou qualquer outro elemento que deu falha) e coloca outro. Pronto. O sistema automaticamente instala tudo de novo (até um SO novo no HD se precisar) e coloca ele pra bombear. Tudo hot deploy, claro. Minha dúvida sobre o acesso da 20 bilhões de páginas foi sanada. Um nodo central recebe a query do usuário e distribui ela para o cluster. Cada elemento do cluster possui uma parte dos índices para as páginas e processa a query. O cluster retorna as páginas obtidas da query e o nodo central funde os resultados e manda para o usuário. O nodo central opera em memória (e que memória) e os índices dos clusters possuem algoritmos próprios (ou seja, não existe nenhum SQL por trás - mas isso todo mundo já sabia, eu acho:-)
O início
Saber que tudo isso foi baseado numa idéia simples de convergência de grafos parece história da carochinha, mas foi isso mesmo. O projeto que rodava tranquilo no quarto do Larry e do Sergey na Universidade de Stanford, rapidamente esgotou a capacidade não só do prédio dos alunos, mas também do laboratório de informática da Universidade e logo mais o todo o link de Stanford. Resultado? Rua!!! Ou melhor, garagem para eles (parece que essa história de criar empresas de TI em garagem é vício). Olhando pelas fotos, me lembro bem do tempo que eu estava no prédio da JH Santos fazendo o projeto Mentor: comida no lado do teclado, algumas CPUs velhas no chão, olhos esbugalhados de noites em claro e muita esperança...ah, quem dera.
"O hoje"
Hoje o Google tem dezenas de serviços, centenas eu acho. Embora a maioria seja beta ou esteja no labs ou mesmo que a maioria das pessoas não conheça, podemos dizer que o Google é dono da informação. Informação preciosa essa, tal como a AOL descobriu quando decidiu liberar seus logs de acesso (...) Eu particularmente, sempre adorei o Google, desde que o Luis Fétido me mostrou aquela página branca pura "OOOOO" na parte de baixo.
"Pisando no Google"
Ah, antes que eu termine, de hoje em diante estou literalmente pisando no Google porque, sim, eu também ganhei um chinelão 43 deles.
Deixa que eu chuto (ops, que eu monto!!!)
Você sabia que o Google é o quinto maior montador de computadores do mundo? Sim, o Google compra hardware de baixo nível (placas, HDs, etc.) e monta seus computadores (ou melhor dizendo, super clusters de computadores), incluindo até a escrita da BIOS, uma versão específica de linux e camadas (e mais camadas) de software para garantir disponibilidade, digamos, eterna. Sistemas de guarnição monitoram a si mesmos e avisam detalhadamente cada pequenino erro no gigantesto e distribuído computador virtual. Milhares de processadores distribuídos em vários de centros de processamento. O cara do suporte simplesmente recebe um avison no desktop: Ei panga, vai lá no slot 1542 do módulo 32 e troca o HD. O panga vai, tira o HD pifado (ou qualquer outro elemento que deu falha) e coloca outro. Pronto. O sistema automaticamente instala tudo de novo (até um SO novo no HD se precisar) e coloca ele pra bombear. Tudo hot deploy, claro. Minha dúvida sobre o acesso da 20 bilhões de páginas foi sanada. Um nodo central recebe a query do usuário e distribui ela para o cluster. Cada elemento do cluster possui uma parte dos índices para as páginas e processa a query. O cluster retorna as páginas obtidas da query e o nodo central funde os resultados e manda para o usuário. O nodo central opera em memória (e que memória) e os índices dos clusters possuem algoritmos próprios (ou seja, não existe nenhum SQL por trás - mas isso todo mundo já sabia, eu acho:-)
O início
Saber que tudo isso foi baseado numa idéia simples de convergência de grafos parece história da carochinha, mas foi isso mesmo. O projeto que rodava tranquilo no quarto do Larry e do Sergey na Universidade de Stanford, rapidamente esgotou a capacidade não só do prédio dos alunos, mas também do laboratório de informática da Universidade e logo mais o todo o link de Stanford. Resultado? Rua!!! Ou melhor, garagem para eles (parece que essa história de criar empresas de TI em garagem é vício). Olhando pelas fotos, me lembro bem do tempo que eu estava no prédio da JH Santos fazendo o projeto Mentor: comida no lado do teclado, algumas CPUs velhas no chão, olhos esbugalhados de noites em claro e muita esperança...ah, quem dera.
"O hoje"
Hoje o Google tem dezenas de serviços, centenas eu acho. Embora a maioria seja beta ou esteja no labs ou mesmo que a maioria das pessoas não conheça, podemos dizer que o Google é dono da informação. Informação preciosa essa, tal como a AOL descobriu quando decidiu liberar seus logs de acesso (...) Eu particularmente, sempre adorei o Google, desde que o Luis Fétido me mostrou aquela página branca pura "OOOOO" na parte de baixo.
"Pisando no Google"
Ah, antes que eu termine, de hoje em diante estou literalmente pisando no Google porque, sim, eu também ganhei um chinelão 43 deles.
0 comentários:
Postar um comentário