Gibt es eine Möglichkeit für Cloud-Funktionen, zu bestätigen, ob ein Datenflussjob erfolgreich war oder nicht?Erfolg eines Datenflussauftrags in Cloud-Funktionen bestätigen
Cloud-Funktion, die ich versucht:
const google = require('googleapis');
exports.statusJob = function(event, callback) {
const file = event.data;
if (file.resourceState === 'exists' && file.name) {
console.log(file.name);
console.log(event.data);
google.auth.getApplicationDefault(function (err, authClient, projectId) {
if (err) {
throw err;
}
if (authClient.createScopedRequired && authClient.createScopedRequired()) {
authClient = authClient.createScoped([
'https://www.googleapis.com/auth/cloud-platform',
'https://www.googleapis.com/auth/userinfo.email'
]);
}
const dataflow = google.dataflow({ version: 'v1b3', auth: authClient });
dataflow.projects.jobs.get({
projectId: 'my-project-id',
resource: {
jobId: 'some_number'
}
}, function(err, response) {
if (err) {
console.error("problem running dataflow template, error was: ", err);
}
console.log("Dataflow template response: ", response);
callback();
});
});
}
};
Paket JSON:
{
"name": "test",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"author": "",
"license": "ISC",
"dependencies": {
"googleapis": "^18.0.0"
}
}
Die obige Sache für mich funktionierte perfekt ONCE. Die Antwort, die ich erhielt, war:
Dataflow template response: { id: 'some_number', projectId: 'my-project-id', name: 'cloud-fn', type: 'JOB_TYPE_BATCH', environment: { userAgent: { name: 'Google Cloud Dataflow SDK for Java', support: [Object], 'build.date': '2017-05-23 19:46', version: '2.0.0' }, version: { major: '6', job_type: 'JAVA_BATCH_AUTOSCALING' } }, currentState: 'JOB_STATE_DONE',........
Dann gab es einen Fehler jedes Mal nach dem Spruch:
problem running dataflow template, error was: Error: Missing required parameters: jobId at createAPIRequest (/user_code/node_modules/googleapis/lib/apirequest.js:110:14) at Object.get (/user_code/node_modules/googleapis/apis/dataflow/v1b3.js:670:16) at /user_code/index.js:22:29 at callback (/user_code/node_modules/googleapis/node_modules/google-auth-library/lib/auth/googleauth.js:42:14) at /user_code/node_modules/googleapis/node_modules/google-auth-library/lib/auth/googleauth.js:289:13 at _combinedTickCallback (internal/process/next_tick.js:73:7) at process._tickDomainCallback (internal/process/next_tick.js:128:9)
Kennt jemand etwas über diese?
Dank
Hinweis: Eine erfolgreiche Arbeit zeigen wird „Erledigt "und ein fehlgeschlagener Job wird" Failed "für das Statusfeld in der Ausgabe anzeigen. –
Okay ... und was, wenn ich dasselbe durch Cloud Functions Code in JavaScript bestätigen wollte? Angenommen, ich rufe einen Datenfluss-Job über Cloud-Funktionen und nach dessen Abschluss möchte ich wissen, ob es erfolgreich war oder nicht ... – rish0097
Ich nehme an, Sie starten Datenfluss-Jobs durch Aufruf einer Cloud-Funktion, indem Sie die Anleitung hier? https://shinesolutions.com/2017/03/23/triggering-dataflow-pipelines-with-cloud-functions/ In diesem Beispiel greifen sie auf das Javascript googleApis zu. Sie könnten eine andere Cloud-Funktion schreiben, die die Google API aufruft und dataflow.projects.templates.get aufruft. Leider kann ich keine Dokumentation/Codebeispiele für die JS API finden. Aber ich denke, du kannst es mit der projectId und einem jobId Parameter aufrufen. –