Александр Христофоров — Дешевле, надёжнее, проще: хранение петабайтов видео и фото в Одноклассниках
Подробнее о Java-конференциях: — весной — JPoint: https://jrg.su/gTrwHx — осенью — Joker: https://jrg.su/h7yvG4 — — . . . . Технический прогресс позволил нам снимать Full HD или даже 4К видео на телефон, загружать их и делиться с друзьями в Одноклассниках или же вести прямые трансляции на весь мир. Для нас это означает необходимость хранить десятки петабайт данных и обеспечивать к ним доступ со скоростью сотни ГБ/с, а это, в свою очередь, требует инфраструктуры, состоящей из тысяч дисков и сотен серверов. Ранее для обеспечения требуемого уровня надёжности хранения данных и отказоустойчивости мы были вынуждены хранить 3 реплики данных, по 1 в каждом ДЦ. Взрывной рост объёмов загружаемого видео и полученный опыт эксплуатации заставили нас переосмыслить подход к хранению таких данных, как фотографии и видео. Было решено разработать новую систему хранения данных с целью делать это дешевле и надёжнее. Немаловажно было упростить эксплуатацию системы, так как даже замена дисков и восстановление данных при таких масштабах требует значительных ресурсов. Доклад о том, как мы уменьшили избыточность хранения данных с 3 до 2.1 и при этом добились более высокой надёжности и доступности системы в целом. Поделимся опытом эксплуатации системы с тысячами дисков. Расскажем о том, как мы сделали процесс замены дисков простым и безопасным, о неожиданных проблемах и нестандартных решениях.
Подробнее о Java-конференциях: — весной — JPoint: https://jrg.su/gTrwHx — осенью — Joker: https://jrg.su/h7yvG4 — — . . . . Технический прогресс позволил нам снимать Full HD или даже 4К видео на телефон, загружать их и делиться с друзьями в Одноклассниках или же вести прямые трансляции на весь мир. Для нас это означает необходимость хранить десятки петабайт данных и обеспечивать к ним доступ со скоростью сотни ГБ/с, а это, в свою очередь, требует инфраструктуры, состоящей из тысяч дисков и сотен серверов. Ранее для обеспечения требуемого уровня надёжности хранения данных и отказоустойчивости мы были вынуждены хранить 3 реплики данных, по 1 в каждом ДЦ. Взрывной рост объёмов загружаемого видео и полученный опыт эксплуатации заставили нас переосмыслить подход к хранению таких данных, как фотографии и видео. Было решено разработать новую систему хранения данных с целью делать это дешевле и надёжнее. Немаловажно было упростить эксплуатацию системы, так как даже замена дисков и восстановление данных при таких масштабах требует значительных ресурсов. Доклад о том, как мы уменьшили избыточность хранения данных с 3 до 2.1 и при этом добились более высокой надёжности и доступности системы в целом. Поделимся опытом эксплуатации системы с тысячами дисков. Расскажем о том, как мы сделали процесс замены дисков простым и безопасным, о неожиданных проблемах и нестандартных решениях.