Wir verwenden Chef, um unsere Infrastruktur zu verwalten, und ich stoße auf ein Problem, bei dem der Splunk TA (Add-on für Kafka) einfach nicht anerkennt, dass ich ' hat kafka_credential.conf Datei im local Verzeichnis des Plugins fallen gelassen. Wenn ich das "Web UI" verwende, erzeugt es einen Eintrag richtig und es wird in der Add-On-Konfiguration angezeigt.Splunk Kafka Add-on liest keine vom Chef verwalteten Konfigurationsdateien
[[email protected] local]# ls
app.conf inputs.conf kafka.conf kafka_credentials.conf
[[email protected] local]# grep -nr "" *.conf
app.conf:1:# MANAGED BY CHEF. PLEASE DO NOT MODIFY!
app.conf:2:[install]
app.conf:3:is_configured = 1
inputs.conf:1:# MANAGED BY CHEF. PLEASE DO NOT MODIFY!
inputs.conf:2:[kafka_mod]
inputs.conf:3:interval = 60
inputs.conf:4:start_by_shell = false
inputs.conf:5:
inputs.conf:6:[kafka_mod://my_app]
inputs.conf:7:kafka_cluster = default
inputs.conf:8:kafka_topic = log-my_app
inputs.conf:9:kafka_topic_group = my_app
inputs.conf:10:kafka_partition_offset = earliest
inputs.conf:11:index = main
kafka.conf:1:# MANAGED BY CHEF. PLEASE DO NOT MODIFY!
kafka.conf:2:[global_settings]
kafka.conf:3:log_level = INFO
kafka.conf:4:index = main
kafka.conf:5:use_kv_store = 0
kafka.conf:6:use_multiprocess_consumer = 1
kafka.conf:7:fetch_message_max_bytes = 1048576
kafka_credentials.conf:1:# MANAGED BY CHEF. PLEASE DO NOT MODIFY!
kafka_credentials.conf:2:[default]
kafka_credentials.conf:3:kafka_brokers = 10.14.2.164:9092,10.14.2.194:9092
kafka_credentials.conf:4:kafka_partition_offset = earliest
kafka_credentials.conf:5:index = main
Nach splunk Neustart das Add-on installiert ist, und auch wird der Eingang unter der Eingänge Abschnitt erstellt, aber der Cluster selbst ist „nicht verfügbar“, und wenn die Protokolle untersuchen Ich sehe diese:
2017-08-09 01:40:25,442 INFO pid=29212 tid=MainThread file=kafka_mod.py:main:168 | Start Kafka
2017-08-09 01:40:30,508 INFO pid=29212 tid=MainThread file=kafka_config.py:_get_kafka_clusters:228 | Clusters: {}
2017-08-09 01:40:30,509 INFO pid=29212 tid=MainThread file=kafka_config.py:__init__:188 | No Kafka cluster are configured
Es scheint, als würde dieses Plugin nur Cluster berücksichtigen, die über die WebUI erstellt wurden. Das wird nicht funktionieren, da wir dies komplett über Chef konfigurieren möchten. Kurz vor dem Hacken der REST-API und dem Herumspielen mit den .py-Dateien im Addon-Verzeichnis und dem Erzwingen eines Wörterbuchs, was sind meine Optionen?
Fragen, ob jemand dies schon einmal begegnet ist.
Definitiv nicht das, weil ich das gleiche Ergebnis mit und ohne die Kommentare in ihnen hatte. :/Ich mache etwas weiter durch den Python-Code und es sieht aus, als ob es das eingebaute Splunk-Konfigurations-Backend trifft. Das scheint tatsächlich ein Splunk-Problem zu sein, bei dem Splunk die Flat Files auf der Festplatte ignoriert, um irgendwie in die Splunk REST Atom-Schnittstelle geladen zu werden. –
Klingt glaubwürdig. – coderanger