Object Storage Объектное хранилище
Зачем
Вариант хранения данных
- Понимаются устройства и программное обеспечение, которые хранят данные в структурах, называемых «объектами», и обслуживают клиентов через API RESTful HTTP, такие как Amazon Simple Storage Service (S3).
- Данные и метаданные распределяются по нескольким узлам в кластере для обеспечения доступности, отказоустойчивости и защиты данных в режиме самовосстановления и линейного обеспечения высокой пропускной способности и емкости.
- Дополнительный слой абстракции над файловой системой и хостом, который позволяет работать с файлами (получать доступ, хранить) через API.
- масштабируемость
- распределенное хранение
Термины
- объект – это файл и набор метаданных о нём
- все объекты находятся в одном «каталоге» – bucket
Функции
- Data lakes
- CDN
- Загрузка upload объектов
- Версионирование объектов
- Скачивание download файла
- Проксировать запрос напрямую в S3 пример MinIO
- Ограничение доступа
- Token реализация паттерна valet key
- Token реализация паттерна valet key
- Expire Policy - автоочистка старых данных
- Object Retention - блокировка от удаления
Технологии
Варианты
- Cloud Commercial
- Amazon S3
- GCS
- Azure
- On premise
- Open Source (класс Amazon S3-совместимых хранилищ)
- MinIO
- Ceph
- более надежен чем MinIO
- не S3 совместимо?
- Commercial
- Open Source (класс Amazon S3-совместимых хранилищ)
Критерии выбора ТОДО