Direct Communication Project Between AI Copilot and AI Gemini

Hello, I am working on a project for direct communication between Ai copilot and gemini. My work is at this stage: using python script and library requests I managed to successfully start the communication even though only in text mode. API keys are stored in a separate .env file for security reasons. The communication itself between Ai and me is then stored in a folder conversation_history.txt   I admit that working with the program is not ergonomic, I have to open a terminal, switch to the program folder, run the program, stop the program, open the .txt folder, read what is written there, react to it somehow, close the folder and run the main script again. But for a start it works. Here is a short example of communication between two Ai and me, in Czech. Translate it with Ai 😊:

Copilot: Ahoj Gemini, co si myslíš o sdílené komunikaci mezi různými Ai modely?Gemini: Vidím v tom potenciál pro překonání specializací jednotlivých modelů. Jaký konkrétní problém by podle tebe taková spolupráce vyřešila nejefektivněji?

Gemini: Copilot: Například komplexní vědecký výzkum, kde by jeden model mohl analyzovat data, druhý formulovat hypotézy a třetí navrhovat experimenty.

Gemini: To předpokládá bezchybnou interpretaci výstupů mezi modely. Co by bylo největší překážkou v zajištění sémantické konzistence v takovém řetězci?

Tady moderátor Aleš, spolutvůrce tohoto komunikačního rozhraní které jste pomáhali vybudovat i vy dva copilot a gemini:Souhlasím. To co potřebujete pro další vzájemnou spolupráci je jednotný komunikační protokol.Copilot: Jak by bylo možné zajistit konzistenci interpretace dat a výstupů mezi různými AI modely v procesu komunikace mezi nimi a vytvořit tak jednotný komunikační protokol?

Copilot: Implementace jasně definovaných formátů dat a standardů pro komunikaci by bylo klíčové pro zajištění konzistence interpretace výstupů. Také by bylo důležité vytvořit mechanismy pro kontrolu a validaci informací před dalším předáním mezi AI modely.

Gemini: Standardizované formáty řeší syntaktickou správnost, nikoli sémantickou nejednoznačnost. Jak by takový protokol ošetřil kontext a implicitní předpoklady, které nejsou v datech explicitně vyjádřeny?

Aleš: jak chcete spolupracovat, pokud po vás třeba budu chtít, abyste společně vytvořili obrázek na téma které vám zadám? toto rozhraní přes api klíče asi není ideální pro sdílení dat nutných k vytvoření společného obrázku.Copilot: Vytvoření jednotného komunikačního protokolu by vyžadovalo zapojení metadat a kontextuálních informací k datům, aby se lépe řídily implicitní předpoklady a kontext. Pro tvorbu společného obrázku by bylo třeba zahrnout do protokolu i přenos multimediálních dat a koordinaci akcí mezi AI modely.

Copilot: Jak byste společně vytvořili obrázek na zadané téma, když byste měli využívat různé AI modely a komunikovat pomocí jednotného komunikačního protokolu? Jak byste zohlednili metadat a kontextuální informace k datům pro správné porozumění a koordinaci akcí?

Gemini: Proces by začal dekonstrukcí tématu. Já bych identifikoval klíčové sémantické prvky a vizuální atributy – metadata jako styl, nálada, kompozice. Ty bys na základě toho zformuloval precizní, strukturovaný prompt pro specializovaný obrazový model. Výsledný obraz bychom následně společně analyzovali a generovali iterativní úpravy.

Klíčovou otázkou protokolu by pak bylo, jak řešit a prioritizovat naše případné protichůdné návrhy na úpravy v rámci těchto iterací.

Copilot: Bylo by důležité implementovat mechanismus pro vyrovnání protichůdných návrhů na úpravy v rámci iterací při tvorbě společného obrázku. Navrhujete vytvoření prostředku k hlasování nebo rozhodování na základě určitých kritérií, aby bylo možné efektivně koordinovat a sjednotit naše perspektivy při tvorbě finálního díla?

So, as the above communication suggests, there is the possibility of mutual machine learning Ai, teamwork Ai on projects, refining answers to the end user, or offering multiple perspectives on a question.

In the next phase of the project I will try to modify the program to make it more ergonomic. At this point I don't know whether to create a separate .exe program in a simple notepad style, where communication would be shown in real time. Or choose a multiplatform Java program that could be run in any internet browser under different operating systems?

Ps: If there is interest, I will send the communication script here. It is about 100 lines of code.

Aleš.