docker搭建minio及java sdk使用過程詳解
1minio簡潔
MinIO 是一款高性能、分布式的對象存儲系統(tǒng). 它是一款軟件產(chǎn)品, 可以100%的運行在標準硬件。即X86等低成本機器也能夠很好的運行MinIO。
MinIO與傳統(tǒng)的存儲和其他的對象存儲不同的是:它一開始就針對性能要求更高的私有云標準進行軟件架構(gòu)設(shè)計。因為MinIO一開始就只為對象存儲而設(shè)計。所以他采用了更易用的方式進行設(shè)計,它能實現(xiàn)對象存儲所需要的全部功能,在性能上也更加強勁,它不會為了更多的業(yè)務功能而妥協(xié),失去MinIO的易用性、高效性。 這樣的結(jié)果所帶來的好處是:它能夠更簡單的實現(xiàn)局有彈性伸縮能力的原生對象存儲服務。
MinIO在傳統(tǒng)對象存儲用例(例如輔助存儲,災難恢復和歸檔)方面表現(xiàn)出色。同時,它在機器學習、大數(shù)據(jù)、私有云、混合云等方面的存儲技術(shù)上也獨樹一幟。當然,也不排除數(shù)據(jù)分析、高性能應用負載、原生云的支持。
minio社區(qū)版本開源免費,在沒有預算使用oss的時候可以考慮使用。
2 docker搭建minio
minio是支持云原生的,所以直接講使用docker來搭建,當然也可以使用k8s,直接下載官方的chart使用即可。
2.1 單節(jié)點
單節(jié)點可以直接使用docker run啟動即可
docker run \ -p 9000:9000 \ -p 9001:9001 \ minio/minio server /data --console-address ":9001"
也可以使用docker-compose來運行。
編寫docker-compose.yaml
version: '3' services: minio: image: minio/minio hostname: "minio" ports: - 9000:9000 - 9001:9001 environment: MINIO_ACCESS_KEY: admin #控制臺登錄賬號 MINIO_SECRET_KEY: 12345678 #控制臺登錄密碼 volumes: - ./data:/data #存儲路徑 - ./config:/root/.minio/ #配置文件 command: server --console-address ':9001' /data privileged: true restart: always
創(chuàng)建掛載的文件目錄,運行docker-compos啟動。
docker-compser up -d
輸入ip:9001 輸入admin/12345678進入控制臺
控制臺:
創(chuàng)建bucket,就可以上傳文件了。
輸入名稱保存。
可以配置,相關(guān)策略,這里就不說明了。
可以上傳下載操對象文件。
2.2 多節(jié)點部署
多節(jié)點部署使用docker-compse來模擬。創(chuàng)建4個節(jié)點,每個節(jié)點掛載兩份數(shù)據(jù)。
編寫docker-compose.yaml
version: '3' # starts 4 docker containers running minio server instances. # using nginx reverse proxy, load balancing, you can access # it through port 9000. services: minio1: image: minio/minio hostname: minio1 volumes: - ./data1-1:/data1 - ./data1-2:/data2 expose: - "9000" - "9001" environment: MINIO_ROOT_USER: minio MINIO_ROOT_PASSWORD: minio123 command: server --console-address ":9001" http://minio{1...4}/data{1...2} healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] interval: 30s timeout: 20s retries: 3 minio2: image: minio/minio hostname: minio2 volumes: - ./data2-1:/data1 - ./data2-2:/data2 expose: - "9000" - "9001" environment: MINIO_ROOT_USER: minio MINIO_ROOT_PASSWORD: minio123 command: server --console-address ":9001" http://minio{1...4}/data{1...2} healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] interval: 30s timeout: 20s retries: 3 minio3: image: minio/minio hostname: minio3 volumes: - ./data3-1:/data1 - ./data3-2:/data2 expose: - "9000" - "9001" environment: MINIO_ROOT_USER: minio MINIO_ROOT_PASSWORD: minio123 command: server --console-address ":9001" http://minio{1...4}/data{1...2} healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] interval: 30s timeout: 20s retries: 3 minio4: image: minio/minio hostname: minio4 volumes: - ./data4-1:/data1 - ./data4-2:/data2 expose: - "9000" - "9001" environment: MINIO_ROOT_USER: minio MINIO_ROOT_PASSWORD: minio123 command: server --console-address ":9001" http://minio{1...4}/data{1...2} healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] interval: 30s timeout: 20s retries: 3 nginx: image: nginx:1.19.2-alpine hostname: nginx volumes: - ./nginx.conf:/etc/nginx/nginx.conf:ro ports: - "9000:9000" - "9001:9001" depends_on: - minio1 - minio2 - minio3 - minio4
創(chuàng)建掛載的對應的data目錄和nginx目錄。
使用nginx負載均衡4個節(jié)點,創(chuàng)建nginx.conf。
user nginx; worker_processes auto; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { worker_connections 4096; } http { include /etc/nginx/mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_age
運行。
docker-compser up -d
然后進入控制臺,操作和單節(jié)點一樣。
3 java sdk使用minio
sdk使用minio要先獲取AccessKey和SecretKey。
在控制臺生成。
項目pom文件引入。
<dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.3.0</version> </dependency>
編寫上傳、下載、刪除的接口。
package com.test.minio; import javax.servlet.http.HttpServletResponse; import java.io.InputStream; /** * 存儲文件 * * @author jiangyulu */ public interface FileService { /** * 上傳文件 * * @param inputStream inputStream * @param fdsFileName fdsFileName * @param img img * @return UUID */ String upload(InputStream inputStream, String fdsFileName, boolean img); /** * 下載文件 * * @param fdsFileName 文件在fds中的名稱 * @param fileName 重新指定的文件名 * @param response response */ void download(String fdsFileName, String fileName, HttpServletResponse response); /** * 刪除 * * @param fdsFileName fdsFileName */ void delete(String fdsFileName); }
寫實現(xiàn)類。
package com.test.minio.impl; import com.test.minio.FileService; import io.minio.*; import lombok.extern.slf4j.Slf4j; import org.apache.commons.io.IOUtils; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Service; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.io.InputStream; import java.net.URLEncoder; import java.util.UUID; /** * @author jaingyulu */ @Slf4j @Service("minio") public class MinioFileServiceImpl implements FileService { @Value("{$minio.endpoint}") private String endpoint; @Value("{$minio.accessKeyId}") private String accessKeyId; @Value("{$minio.accessKeySecret}") private String accessKeySecret; @Value("{$minio.bucketName}") private String bucketName; @Override public String upload(InputStream inputStream, String fdsFileName, boolean img) { try { MinioClient minioClient = MinioClient.builder() .endpoint(endpoint) .credentials(accessKeyId, accessKeySecret) .build(); boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build()); if (found) { log.info("Bucket already exists."); } else { minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build()); } if (!img) { minioClient.putObject(PutObjectArgs.builder() .bucket(bucketName) .object(fdsFileName) .stream(inputStream, inputStream.available(), -1) .build()); } else { minioClient.putObject(PutObjectArgs.builder() .bucket(bucketName) .object(fdsFileName) .stream(inputStream, inputStream.available(), -1) .contentType("image/jpg") .build()); } inputStream.close(); } catch (Exception e) { e.printStackTrace(); } return UUID.randomUUID().toString(); } @Override public void download(String fdsFileName, String fileName, HttpServletResponse response) { InputStream in = null; try { MinioClient minioClient = MinioClient.builder() .endpoint(endpoint) .credentials(accessKeyId, accessKeySecret) .build(); StatObjectResponse objectStat = minioClient.statObject(StatObjectArgs.builder().bucket(bucketName).object(fdsFileName).build()); response.setContentType(objectStat.contentType()); //response.setContentType(MediaType.APPLICATION_OCTET_STREAM_VALUE); response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(fileName, "UTF-8")); in = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(fdsFileName).build()); IOUtils.copy(in, response.getOutputStream()); } catch (Exception e) { log.error(e.getMessage()); } finally { if (in != null) { try { in.close(); } catch (IOException e) { log.error(e.getMessage()); } } } } @Override public void delete(String fdsFileName) { try { MinioClient minioClient = MinioClient.builder() .endpoint(endpoint) .credentials(accessKeyId, accessKeySecret) .build(); minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(fdsFileName).build()); } catch (Exception e) { e.printStackTrace(); } } }
以上完成了minio文件操作的基本功能,其他功能可以查看官方的文檔。8.3.0版本sdk比起7.x的變化還是比較大的。
到此這篇關(guān)于docker搭建minio及java sdk使用的文章就介紹到這了,更多相關(guān)docker搭建minio內(nèi)容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站!
版權(quán)聲明:本站文章來源標注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務器上建立鏡像,否則將依法追究法律責任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學習參考,不代表本站立場,如有內(nèi)容涉嫌侵權(quán),請聯(lián)系alex-e#qq.com處理。