Sandia
NS4338
5년
주장비
분석
데이터처리장비 > 하드웨어 >
공동활용허용
2024-04-18
58,822,740원
없음
극저온전자현미경 데이터 저장 및 이미지 처리
・ 분자동역학 모의실험, 라이브러리 스크리닝
・ 표적단백질 고해상도 구조규명, 구조기반 신약-백신개발 지원
・ (항체단백질) 구조예측과 성능 향상을 위한 아미노산 서열 디자인
・ (바이러스 항원) 단백질 구조예측과 안정화를 위한 아미노산 서열 디자인
CPU/GPU 계산노드는 극저온전자현미경에서 산출되는 원천 이미지 데이터 처리를 위해 요구되는 필수 컴퓨팅 장비로 고성능 멀티코어의 CPU와 가성비가 높은 8개 이상의 NVIDIA GPGPU를 갖춘 고성능 계산노드로서, 극저온전자현미경에서 얻어지는 대량의 이미지데이터 분석 및 구조기반 신약개발 연구의 세부사항인 신약탐색용 화합물 스크리닝, 단백질복합체/항체 디자인, in-silico 항체 최적화, 분자동역학 모의실험 연구에도 사용된다.
원
CPU/GPU 계산노드는 극저온전자현미경에서 산출되는 대량의 원천 이미지데이터 분석(SPA,
cryo-ET)과 구조기반 신약개발의 세부사항인 신약탐색용 화합물 스크리닝, 단백질복합체/항체 디자인, in-silico 항체 최적화, 분자동역학 모의실험, 백신 서열 최적화를 위해서는 고성능의 멀티코어 GPU/CPU와 고속의 네트워크 장비가 장착된 고속 계산용 컴퓨터가 대용량의 스토리지와 연동 되는 것이 필수적으로 활용되는 장비이다.
1. CPU/GPU 계산노드
- FORM FACTOR : 4U RACK, CMA, Tool-less slide rail
- CPU : 2 x 2.1Ghz, 48-Core, 350W, 105MB Cache
- RAM : 16 x 64GB DDR5-4800Mhz RDIMM, 32 DIMMs
- DISK BAY : 8 x Hot-swap
- RAID : 12Gb/s SAS controller
- SSD : 2 x 480GB 2.5in SATA 6Gb/s Enterprise (OS, RAID1)
- NVMe : 15.36TB 2.5in PCIe 4.0 x4 Enterpris (Scratch)
- HDD : 20TB 3.5in SAS 12Gb/s 256MB 512e/4kn Enterprise (Backup)
- GPGPU : 8 x Cuda core : 16,384 / Tensor core : 512 / 24GB GDDR6X Blower
- MANAGEMENT : KVM over IP
- NETWORK : 2 x 10Gb/s, 1 x 100Gb/s(w/100Gb/s 3m cable)
- POWER : 3 x 3000W Redundant hot-swap
2. HPCC Environment Driver
- HPCC 운영 소프트웨어
1) 리눅스 운영체제
2) Development Tool, Library, Job manager (SLURM, Torque, PBS Pro, SGE)
3) HPCC Environment : 교차 컴파일 허용
a. GNU, 인텔, PGI, Open64 컴파일러
b. Open MPI, MPICH, MPICH2, MAVPICH, MAVPICH2
c. 인텔 스레딩 라이브러리, OpenMP 전역 배열
d. 인텔 MKL, LAPACK, 아키텍쳐 최적화 BLAS 라이브러리
- HPCC 관리 소프트웨어
1) 공통 관리 기능 : 노드 제어, 노드 프로비저닝, 노드 자원 모니터링, 경보설정, 병렬 쉘, 대기열 작업제어, 사용자 관리(LDAP서버지원), 역할 기반인증, GPU 컴퓨팅 관리, 클러스터 상태검사, 클러스터 전원(PDU) 관리, 소프트웨어 이미지 관리기능, 그래프 모니터링, 랙상태 및 스위치 시각화 모니터링, 클러스터 관리 명령 : 재부팅, 노드 프로비저닝, 전원켜기, 끄기
2) GUI 및 CLI 지원 : 단일 환경의 GUI 및 CLI를 통해 모든 공통 관리 기능 제공하고, 다중 클러스터 동시 관리 기능 제공
3) 장애조치 : 외부 소프트웨어 도구가 필요 없는 기본 내장 기능이어야 함. (헤드노드의 HA 지원)
4) 클러스터 자동화 및 그래픽 모드 상에서 클러스터 설치 수행 가능
5) 워크로드 관리 : 병렬 미들웨어 런타임 환경과 통합하여, 응용 프로그램에 대한 올바른 계정, 자원 제안 및 프로세서 제안 기능 사용
- HPCC 사용자 포탈
1) Web Interface에서 사용자 Portal 제공
a. 파일관리 (Browser, Transfer, edit, copy & paste)
2) 아래 Job manager 기능 제공
b. Workload manager : SLURM, Torque, PBS Pro SGE
c. 기본 job template 제공
d. job management와 monitoring 지원
e. browser에서 ssh터미널과 같은 기능 제공, VNC desktop 지원
f. Graphical desktop 환경 및 application 지원
g. LDAP 사용자 인증
- GPGPU 관련 프로그램 설치 및 최적
1) GPU Library : cuDDN, cuFFT, cuBLAS, cuSPARSE, cuSOLVER, cuRAND, NPP, CUDA Math
2) Deep Learning Framework : Caffe, Caffe2, Tensorflow, Theano, Torch, Digit, CNTK, DL4J, mxnet, Lasagne, bigDL, Keras
- Cryo-EM 관련 프로그램 설치 및 최적화
1) Cryosparc, Relion3/4, EMAN2, MotionCo2
2) CFT Estimation and Correction : ACE2, CTFFIND3, Gctf, EMCTF, fitCTF2
3) Viisualization and Modeling : ADP_EM, UCSF Chimera, Emfit, OpenStructure, PyMOL
4) Matlab : Matlab functions for 3dEM file formats
5) 사용 분석 프로그램들이 도커를 활용하여 다양한 OS환경(fedora, ubuntu, centoS)에서 정상적으로 구동 되도록 지원 및 이미지 빌드, 배포 및 관리(모니터링) 할 수 있는 컨테이너 기반 운영방법과 클러스터 작업 제출을 위한 스크립트 제공
3. Technical support
- 기존 노드와의 연동 구성 및 마스터노드의 재설정, 클러스터 블록 구성 지원
- HPCC make setting (w/software & Disk, Network Configuration)