Revisitando o estudo de computação de 2008 da exascale em sc18 como parar a artrite nos dedos

Um relatório publicado há uma década transmitiu os resultados de um estudo com o objetivo de determinar se era possível atingir 1000 vezes o poder computacional dos sistemas de petascale emergentes em uma potência de sistema de não mais de 20 MW. Em 14 de novembro, na conferência de supercomputação SC18, em Dallas, alguns dos contribuintes originais do relatório participaram de uma sessão de “Aves de Penas”, na qual refletiram sobre o documento, compartilhando o que julgaram ser seus acertos e erros e fazendo previsões para 2028 .

O líder da sessão, Jefferson Vetter, disse que o relatório de 2008, intitulado “estudo de computação exascale: desafios tecnológicos na obtenção de sistemas de exascale”, foi citado mais de 1.000 vezes e que muitas pessoas buscam entender quais agendas de pesquisa eles deve empreender e considerar quais são os desafios mais salientes a serem enfrentados na computação de alto desempenho.

Harrod, que agora é gerente de programas para a atividade de projetos de pesquisa avançada de inteligência (IARPA), disse à audiência que a consideração das especificações do sistema de petascale como elas existiam na época informava as suposições dos membros do grupo de estudo sobre o exascale. Os sistemas Petascale operavam a cerca de 13 MW com várias centenas de gabinetes. Assim, os parâmetros previstos para o exascale foram 10 18 operações / segundo em 20 MW e com menos de 500 gabinetes. As principais questões gerais, segundo Harrod, eram se um sistema exascale era necessário e poderia ser usado para descobertas científicas e outros propósitos práticos.

Dois outros estudos, sobre software e resiliência, respectivamente, seguiram o estudo no qual o relatório de 2008 foi baseado. O comentário retumbante e abrangente sobre as descobertas dos três estudos, disse Harrod, era que o co-design seria essencial. Ele acrescentou que, embora o conceito de co-design não fosse revolucionário, ele estava determinado a ser crítico para garantir que o design de hardware correspondesse adequadamente aos usos pretendidos para o sistema e tornou-se um aspecto integrante da iniciativa de computação exascale do departamento de energia dos EUA ( ECI) e projeto de computação exascale (ECP).

Peter Kogge, da Universidade de Notre Dame, liderou o estudo da computação Exascale e serviu como editor do relatório de 2008. Em sua apresentação para o bof, ele delineou quatro desafios-chave que emergiram do estudo: energia e poder, memória, simultaneidade e resiliência. Ele também resumiu o ambiente de computação de 2008 e como era esperado até 2015, observando que a equipe de estudo não se concentrava nas necessidades de aplicação e no modelo de teto. Para a matriz se multiplicar como o benchmark de alto desempenho linpack (HPL), ele disse, ter um cache grande o suficiente superaria as preocupações com a velocidade da memória; e para atingir um pico de 1 exaflops, o objetivo era atingir 20 pj / flop.

A equipe reuniu o que Kogge se referiu como um agressivo homem de palha com uma arquitetura que foi em grande parte influenciada pelo contribuinte do estudo (depois com a universidade de stanford, agora com a nvidia), que participou do bof. A arquitetura foi caracterizada por multicore, sem coerência e espaço de endereço global compartilhado. Atingir o pico de 1 exaflops significou 68 MW de uso de energia de 583 racks. Em relação à programação, cerca de 1 bilhão de linhas precisavam ser mantidas. Uma interconexão de fios foi assumida.

No início dos estudos da DARPA, o ano alvo para alcançar o exascale foi 2015, mas com base nos resultados do estudo de software foi ajustado para 2018. Hoje, as projeções são focadas no período de 2021-2023. Harrod disse que, embora as projeções tenham evoluído, os estudos prepararam o caminho para os projetos de computação de alto desempenho onipresentes (UHPC) da DARPA e lançaram as bases para a ECI e a ECP do DOE. Eles acrescentaram que aumentaram muito o ambiente para o desenvolvimento de exascale.

A abordagem do grupo de estudo ao focar nos sistemas de pesos pesados ​​foi decisiva até 2015, e o agressivo homem de palha que eles desenvolveram se assemelha muito à GPU de hoje, disse Kogge. Além disso, ele disse que o grupo de estudo estava certo em apontar que alguma forma de empilhamento de memória seria necessária, e que interconexões, pelo menos localmente dentro de racks, ainda seriam em grande parte de cobre. Entre os erros, ele destacou os sistemas heterogêneos e o modelo de rosqueamento SIMT, que constitui o que é feito com o gpus hoje.

Bergman disse que, como alguém com experiência em redes ópticas, ela considerou o exame atento do consumo de energia das interconexões neste estudo como sendo esclarecedor. Com relação aos hits do estudo, ela opinou que as discussões profundas capturaram o crescente desafio do movimento de dados. No entanto, em sua opinião, um dos erros consideráveis ​​do estudo foi o custo associado à manufaturabilidade. Ela disse que inovações substanciais seriam necessárias para integrar o photonics em chips e remediar um dos últimos gargalos reais.

Klein, que foi vice-presidente de desenvolvimento de sistemas de memória na mícron na época do estudo e hoje em mentores aposentados e motiva estudantes de engenharia, destacou como um sucesso a consciência do grupo de estudo de que a energia dos subsistemas de memória geraria comprometimentos na memória em sistemas , e como uma falta a idéia de flash NAND desempenhando um papel na supercomputação.