Question & Help needed | Interacting with Azure Cognitive Search & OpenApi through Power Automate

Copper Contributor

Hello Everyone, 

 

I am currently strying to set up the following scenario and I am getting really desperate. I have various pdf files in my blob storage, I set up an Azure Cognitive Search resource with semantic search and I also have open AI configured. Now I want to call the endpoint from power automate. 

Here my http post request to the openai endpoint using the api version 2023-08-01-preview
https://placeholder.openai.azure.com/openai/deployments/placeholder/extensions/chat/completions

{
"dataSources": [
{
"type": "AzureCognitiveSearch",
"parameters": {
"endpoint": "https://placeholder.search.windows.net",
"key": "placeholder",
"indexName": "placeholder"
}
}
],
"messages": [
{
"role": "system",
"content": "You are a Quality Manager which has to provide information about the companies standard operating procedures (SOP). You are trained on them and your job is to summarize the procedures so that the people in production can quickly review them if necessary. You should provide a step by step guide on how to perform the procedures the user asks for."
},
{
"role": "user",
"content": "Please give me all relevant procedures of the Lödige Coater System as bullet points, so I can step by step clean the machine."
}
],
"temperature": 0.45,
"top_p": 0.45,
"frequency_penalty": 0,
"presence_penalty": 0,
"max_tokens": 3500,
"stop": null
}

This works and I get kinda okay results when it comes to the text quality. However I can never access the fields set up in my azure cognitive search index. I have 2 fields there including the name and the path. How can I get a response which includes these informations? Here an example response, the context is very messy:

{
    "statusCode": 200,
    "headers": {
        "x-envoy-upstream-service-time": "10500",
        "OpenAI-Processing-Ms": "10531.6941",
        "x-ms-client-request-id": "xxx",
        "apim-request-id": "xxx",
        "Strict-Transport-Security": "max-age=31536000; includeSubDomains; preload",
        "X-Content-Type-Options": "nosniff",
        "x-ms-region": "East US",
        "Date": "Thu, 21 Sep 2023 17:14:00 GMT",
        "Content-Length": "12027",
        "Content-Type": "application/json; charset=utf-8"
    },
    "body": {
        "id": "xxx",
        "model": "gpt-35-turbo",
        "created": xxx,
        "object": "extensions.chat.completion",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "Here are the bullet points for cleaning the Lödige Coater System:\n- Prior to operation, ensure that the Lödige Coater System, its components, and the area are properly cleaned [doc1][doc3].\n- Remove any leftover tablets or coating material from the coater, drum, and spray guns [doc1][doc5].\n- Disassemble any removable parts of the Lödige Coater System according to the manufacturer's instructions [doc1].\n- Prepare a cleaning solution by diluting the appropriate cleaning agent in water, following the manufacturer's recommendations [doc1].\n- Use cleaning tools such as brushes and sponges to thoroughly clean all surfaces, including the drum, spray guns, and other components [doc1][doc5].\n- Rinse all cleaned parts with clean water to remove any residue from the cleaning solution [doc5].\n- Dry the cleaned components using lint-free towels or allow them to air dry [doc5].\n- Reassemble the Lödige Coater System, ensuring that all parts are properly aligned and secured [doc1][doc5].\n- Label the Lödige Coater System, its components, and the area with a \"Cleaned\" label [doc1][doc5].",
                    "end_turn": true,
                    "context": {
                        "messages": [
                            {
                                "role": "tool",
                                "content": "{\"citations\": [{\"content\": \"...... 4 \\n5.4 QA: Quality Assurance .................................................................................................................... 4 \\n5.5 HOP: Head of Production ................................................................................................................. 4 \\n \\nAI-SOP-006 \\nLödige Coater System \\n \\n3 / 4 \\n1 Purpose \\nThe purpose of this SOP is to establish a standard procedure for operating and cleaning the Lödige \\nCoater System. \\n2 Scope of application \\nThis SOP is applicable to the Lödige Coater System in the coating area of the production section. \\n3 Responsibility \\n3.1 Machine Operator is responsible for operating the Lödige Coater System \\nand performing cleaning tasks. \\n3.2 Production Pharmacist is responsible for implementing this SOP. \\n3.3 Head of Production (HOP) is responsible for ensuring the implementation \\nof this SOP. \\n3.4 Quality Assurance Officer is responsible for monitoring the compliance of \\nthis SOP. \\n4 Procedure \\n4.1 Cleaning Process \\na) Prior to operation, the Machine Operator will ensure that the Lödige Coater System, its com-\\nponents, and the area are properly cleaned..b) Remove any leftover tablets or coating material from the coater, drum, and spray guns..c) Disassemble any removable parts of the Lödige Coater System according to the manufactur-\\ner's instructions..d) Prepare a cleaning solution by diluting the appropriate cleaning agent in water, following the \\nmanufacturer's recommendations.\", \"id\": null, \"title\": null, \"filepath\": null, \"url\": null, \"metadata\": {\"chunking\": \"orignal document size=1578. Scores=7.668239Org Highlight count=135.Filtering to chunk no. 2/Highlights=51 of size=371\"}, \"chunk_id\": \"2\"}, {\"content\": \".Engage the machine by pressing the switch situated on the front side of the machine. \\n22..The turret should start its motion. \\n23..Set the average weight and thickness of the tablets. \\n24..After checking all the specified parameters, run the machine at its operational speed. \\n25..Set and start the tablet counter. \\n26..After completing the work, release the pressure. \\n27..Switch 'OFF' the mains. \\n28..After completing the activity, change the status of the area and affix a duly filled and \\nsigned status label on the tablet compression machine. \\n29..Clean the tablet compression machine following the above procedure. \\n30..Enter the details in the Batch Manufacturing Record (BMR) and the Equipment Log. \\n6 Annexure \\n6.1 Annexure-I: Flow chart of Tablet Compression Machine \\n(Tablet Compression Machine - Flowchart) \\nAI-SOP-012 \\nOperation and Cleaning of Tablet Compression Machine \n6.2 Annexure-II: Cleaning checklist for Tablet Compression Machine \\n(Provide a cleaning checklist with sections for disassembling, cleaning, visual inspection, reassembly, \\nand cleaning of the surrounding area..Include check points for various machine parts and compo-\\nnents.).Note: This SOP provides detailed instructions for the cleaning and operation of the tablet compres-\\nsion machine..It is essential to follow the procedure carefully to ensure proper cleaning, mainte-\\nnance, and safe operation of the equipment..Any deviations or issues should be reported to the ap-\\npropriate personnel and documented as per the organization's quality management system.\", \"id\": null, \"title\": null, \"filepath\": null, \"url\": null, \"metadata\": {\"chunking\": \"orignal document size=2667. Scores=3.1444187Org Highlight count=183.Filtering to chunk no. 4/Highlights=39 of size=400\"}, \"chunk_id\": \"4\"}, {\"content\": \"...... 4 \\n5.4 QA: Quality Assurance .................................................................................................................... 4 \\n5.5 HOP: Head of Production ................................................................................................................. 4 \\n \\nAI-SOP-006 \\nLödige Coater System \\n \\n3 / 4 u\\np\\n \\n1 Purpose \\nThe purpose of this SOP is to establish a standard procedure for operating and cleaning the Lödige \\nCoater System. \\n2 Scope of application \\nThis SOP is applicable to the Lödige Coater System in the coating area of the production section. \\n3 Responsibility \\n3.1 Machine Operator is responsible for operating the Lödige Coater System \\nand performing cleaning tasks. \\n3.2 Production Pharmacist is responsible for implementing this SOP. \\n3.3 Head of Production (HOP) is responsible for ensuring the implementation \\nof this SOP. \\n3.4 Quality Assurance Officer is responsible for monitoring the compliance of \\nthis SOP. \\n4 Procedure \\n4.1 Cleaning Process \\na) Prior to operation, the Machine Operator will ensure that the Lödige Coater System, its com-\\nponents, and the area are properly cleaned..b) Remove any leftover tablets or coating material from the coater, drum, and spray guns..c) Disassemble any removable parts of the Lödige Coater System according to the manufactur-\\ner's instructions..d) Prepare a cleaning solution by diluting the appropriate cleaning agent in water, following the \\nmanufacturer's recommendations..e) Use cleaning tools such as brushes and sponges to thoroughly clean all surfaces, including \\nthe drum, spray guns, and other components.\", \"id\": null, \"title\": null, \"filepath\": null, \"url\": null, \"metadata\": {\"chunking\": \"orignal document size=1578. Scores=5.640085Org Highlight count=121.Filtering to chunk no. 2/Highlights=51 of size=402\"}, \"chunk_id\": \"2\"}, {\"content\": \"........................................................................................................... 4 \\n6 Annexure ............................................................................................................................. 5 \\n6.1 Annexure-I: Flow chart of Tablet Compression Machine ............................................................... 5 \\n6.2 Annexure-II: Cleaning checklist for Tablet Compression Machine.................................................. 6 \\n \\nAI-SOP-012 \\nOperation and Cleaning of Tablet Compression Machine \\n \\n3 / 6 n1 Objective \\nTo establish a procedure for the cleaning and operation of Tablet Compression Machine (P2020 \\nFette Compacting). \\n2 Scope of application \\nThis SOP applies to the Tablet Manufacturing Area at the pharmaceutical drug manufacturing plant. \\n3 Responsibility \\nTablet Compression Machine \\nProduction Chemist/Operator: Responsible for following the procedure..Head Production: Responsible for ensuring SOP compliance. \\n4 Procedure \\n4.1 Product Changeover (Type A) \\na) Change the status of the area and equipment, ensuring that a duly filled and signed status \\nlabel is affixed to the equipment as per the SOP for Status Labeling..b) Release the pressure before cleaning the machine..c) Switch 'OFF' the electrical supply and remove any adhering powder from the machine using \\na vacuum dust extraction pipe..d) Use a compressed air gun to remove dust from the inner areas of the machine..e) Remove the hopper, feed frame, tablet chutes, extraction points, granule scraper, studs, and \\nplace them in a stainless steel trolley covered with a polybag..Transfer the trolley to the \\nwashing area through the unclean equipment room..f) Thoroughly clean the machine parts with sufficient potable water, using a nylon scrubber..Rinse the parts with purified water and dry them with compressed air..g) Remove the upper punches, lower punches, and dies carefully..Clean them thoroughly with \\n70% IPA and store them in the punches and dies cabinet as per the SOP for Punches and \\nDies.\", \"id\": null, \"title\": null, \"filepath\": null, \"url\": null, \"metadata\": {\"chunking\": \"orignal document size=2667. Scores=3.1444187Org Highlight count=183.Filtering to chunk no. 1/Highlights=30 of size=461\"}, \"chunk_id\": \"1\"}, {\"content\": \".f) Rinse all cleaned parts with clean water to remove any residue from the cleaning solution..g) Dry the cleaned components using lint-free towels or allow them to air dry..h) Reassemble the Lödige Coater System, ensuring that all parts are properly aligned and se-\\ncured..AI-SOP-006 \\nLödige Coater System \\n \\n4 / 4 \\ Label the Lödige Coater System, its components, and the area with a \\\"Cleaned\\\" label. \\n4.2 Operation Process: \\na) Before line clearance, ensure that the spray guns and air pipes are properly installed..b) Obtain line clearance from the Production Officer and Quality Assurance Inspector..c) After line clearance, proceed with the tablet coating process using the Lödige Coater System \\nas per the manufacturer's instructions. \\n4.3 Shutdown Process: \\na) Once the tablet coating process is completed, turn off the Lödige Coater System and all asso-\\nciated systems..b) Perform a final visual inspection of the equipment to ensure it is clean and free from any res-\\nidue..c) Remove any remaining tablets or coating material from the coater, drum, and spray guns..d) Follow the cleaning process outlined in Section 4.1 to thoroughly clean all components of \\nthe Lödige Coater System..e) After cleaning, reassemble the Lödige Coater System and label it as \\\"Cleaned\\\" for the next \\nuse..f) Record the cleaning activities in the logbooks. \\n5 Abbreviations: \\n5.1 SOP: Standard Operating Procedure \\n5.2 RPM: Rounds per minute \\n5.3 BMR: Batch Manufacturing Record \\n5.4 QA: Quality Assurance \\n5.5 HOP: Head of Production \\nNote: This operational procedure should be reviewed and updated periodically to reflect any process \\nimprovements or changes in operating conditions.\", \"id\": null, \"title\": null, \"filepath\": null, \"url\": null, \"metadata\": {\"chunking\": \"orignal document size=1578. Scores=5.640085Org Highlight count=121.Filtering to chunk no. 3/Highlights=51 of size=467\"}, \"chunk_id\": \"3\"}], \"intent\": \"Please give me all relevant Cleaning procedures of Lödige Coater System as bullet points, so I can step by step clean the machine.\"}",
                                "end_turn": false
                            }
                        ]
                    }
                }
            }
        ]
    }
}




Any other suggestions for better results is welcome. I currently take this response and send it again to openai to give it proper html formatting.


0 Replies