Object Storage Объектное хранилище
Зачем
Вариант распределенного хранения данных.
- Понимаются устройства и программное обеспечение, которые хранят данные в структурах, называемых «объектами», и обслуживают клиентов через API RESTful HTTP, такие как Amazon Simple Storage Service (S3)
- Данные и метаданные распределяются по нескольким узлам в кластере для обеспечения
- доступности
- отказоустойчивости и защиты данных в режиме самовосстановления
- линейного обеспечения высокой пропускной способности
- большой емкости
- Дополнительный слой абстракции над файловой системой и хостом, который позволяет работать с файлами (получать доступ, хранить) через API
UC:
- Backup
- IoT
- Logs
- CDN
- BigData Data lake
Термины
- объект – это файл и набор метаданных о нём
- все объекты находятся в одном «каталоге» – bucket
Функции
- Загрузка upload объектов
- Версионирование объектов
- Скачивание download файла
- Проксировать запрос напрямую в S3 пример MinIO
- Ограничение доступа
- Token реализация паттерна valet key
- Token реализация паттерна valet key
- Expire Policy - автоочистка старых данных
- Object Retention - блокировка от удаления
Плюсы-минусы
- Scalability
- Easier search and analysis
- Cost reduction
- High performance
Минусы
- Затраты на инфраструктуру
Технологии
Варианты
- Cloud Commercial
- Amazon S3
- GCS
- Azure
- On premise
- Open Source (класс Amazon S3-совместимых хранилищ)
- MinIO
- Ceph
- более надежен чем MinIO
- не S3 совместимо?
- Commercial
- Open Source (класс Amazon S3-совместимых хранилищ)
Критерии выбора ТОДО