使用 Milvus Operator 配置消息存储

kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvus_cluster_default.yaml

apiVersion: milvus.io/v1alpha1
kind: Milvus
metadata:
  name: milvus
spec:
  dependencies: {}
  components: {}
  config: {}

apiVersion: milvus.io/v1alpha1
kind: Milvus
metadata:
  name: milvus
spec:
  dependencies: 
    msgStreamType: 'natsmq'
    natsmq:
      # 用于natsmq的服务器端配置。
      server: 
        # 默认为4222，nats服务器监听的端口。
        port: 4222 
        # 默认为/var/lib/milvus/nats，nats的JetStream存储目录。
        storeDir: /var/lib/milvus/nats 
        # 默认为16GB，'file'存储的最大大小。
        maxFileStore: 17179869184 
        # 默认为8MB，消息负载的最大字节数。
        maxPayload: 8388608 
        # 默认为64MB，连接的最大缓冲字节数，适用于客户端连接。
        maxPending: 67108864 
        # 默认为4s，等待natsmq完成初始化的超时时间。
        initializeTimeout: 4000 
        monitor:
          # 默认为false，如果设置为true，则启用调试日志消息。
          debug: false 
          # 默认为true，如果设置为false，则无需时间戳记录日志。
          logTime: true 
          # 默认为空，记录文件的路径。
          logFile: 
          # 默认为0，无限制大小，日志文件达到此大小后将滚动到新文件。
          logSizeLimit: 0 
        retention:
          # 默认为3天，P通道中任何消息的最大保存时间。
          maxAge: 4320 
          # 默认为None，单个P通道可容纳的字节数。如果P通道超过此大小，则删除最旧的消息。
          maxBytes:
          # 默认为None，单个P通道可包含的消息数。如果P通道超过此限制，则删除最旧的消息。
          maxMsgs: 
  components: {}
  config: {}

apiVersion: milvus.io/v1alpha1
kind: MilvusCluster
metadata:
  name: my-release
  labels:
    app: milvus
spec:
  dependencies: # 可选项
    pulsar: # 可选项    
      # 是否（=true）使用指定字段endpoints中的已存在的外部Pulsar，
      # 或者（=false）在相同Kubernetes集群中为Milvus创建一个新的Pulsar。
      external: true # 可选项，默认为false
      # 如果external=true，则为外部Pulsar的端点
      endpoints:
      - 192.168.1.1:6650
  components: {}
  config: {}           

apiVersion: milvus.io/v1alpha1
kind: MilvusCluster
metadata:
  name: my-release
  labels:
    app: milvus
spec:
  dependencies:
    pulsar:
      inCluster:
        values:
          components:
            autorecovery: false
          zookeeper:
            replicaCount: 1
          bookkeeper:
            replicaCount: 1
            resoureces:
              limit:
                cpu: '4'
              memory: 8Gi
            requests:
              cpu: 200m
              memory: 512Mi
          broker:
            replicaCount: 1
            configData:
              ## 由于bookkeeper没有持久性而运行，
              ## 启用“autoSkipNonRecoverableData”
              autoSkipNonRecoverableData: "true"
              managedLedgerDefaultEnsembleSize: "1"
              managedLedgerDefaultWriteQuorum: "1"
              managedLedgerDefaultAckQuorum: "1"
          proxy:
            replicaCount: 1
  components: {}
  config: {}            

kubectl apply -f milvuscluster.yaml

apiVersion: milvus.io/v1alpha1
kind: MilvusCluster
metadata:
  name: my-release
  labels:
    app: milvus
spec:
  config:
    kafka:
      # securityProtocol支持：PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL
      securityProtocol: PLAINTEXT
      # saslMechanisms支持：PLAIN、SCRAM-SHA-256、SCRAM-SHA-512
      saslMechanisms: PLAIN
      saslUsername: ""
      saslPassword: ""
  # 省略其他字段...
  dependencies:
    # 省略其他字段...
    msgStreamType: "kafka"
    kafka:
      external: true
      brokerList: 
        - "kafkaBrokerAddr1:9092"
        - "kafkaBrokerAddr2:9092"
        # ...

apiVersion: milvus.io/v1alpha1
kind: MilvusCluster
metadata:
  name: my-release
  labels:
    app: milvus
spec: 
  dependencies:
    msgStreamType: "kafka"
    kafka:
      inCluster: 
        values: {} # 可在https://artifacthub.io/packages/helm/bitnami/kafka中查找values
  components: {}
  config: {}

kubectl apply -f milvuscluster.yaml