From 6e4b830f30886e444582ff96cc953f635e252a1d Mon Sep 17 00:00:00 2001 From: Pruthwik Date: Wed, 3 Aug 2022 17:01:52 +0530 Subject: [PATCH] Files Added --- ...7\340\262\267\340\262\244\340\263\215.txt" | 48 + ...7\340\262\267\340\262\244\340\263\215.txt" | 842 ++++++++++++++++++ readme.txt | 23 + tokenizer_for_indian_languages_on_files.py | 158 ++++ 4 files changed, 1071 insertions(+) create mode 100644 "Sample-Input/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" create mode 100644 "Sample-Output/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" create mode 100644 readme.txt create mode 100644 tokenizer_for_indian_languages_on_files.py diff --git "a/Sample-Input/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" "b/Sample-Input/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" new file mode 100644 index 0000000..68e297a --- /dev/null +++ "b/Sample-Input/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" @@ -0,0 +1,48 @@ +ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ( ಎಐಸಿಟಿಇ ) ( All India Council for Technical Education ( AICTE ) ) ಎಂಬುದು ಮಾನವ ಸಂಪನ್ಮೂಲ ಸಂಪನ್ಮೂಲ ಸಚಿವಾಲಯದ , ಉನ್ನತ ಶಿಕ್ಷಣ ಇಲಾಖೆಯ ಅಡಿಯಲ್ಲಿ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣಕ್ಕಾಗಿ ರಾಷ್ಟ್ರೀಯ ಮಟ್ಟದ ಸಂಸ್ಥೆಯಾಗಿದೆ. [ ೩ ನವೆಂಬರ್ 1945 ರಲ್ಲಿ ಸ್ಥಾಪನೆಯಾದ ಸಲಹಾ ಮಂಡಳಿ ಮತ್ತು ನಂತರ 1987 ರಲ್ಲಿ ಸಂಸತ್ತಿನ ಕಾಯಿದೆಯಡಿ ಶಾಸನಬದ್ಧ ಸ್ಥಾನಮಾನವನ್ನು ನೀಡಲ್ಪಟ್ಟಿತು , ಭಾರತದಲ್ಲಿ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಮತ್ತು ನಿರ್ವಹಣಾ ಶಿಕ್ಷಣ ವ್ಯವಸ್ಥೆಯ ಸರಿಯಾದ ಯೋಜನೆ ಮತ್ತು ಸಂಘಟಿತ ಅಭಿವೃದ್ಧಿಗೆ ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ( ಎಐಸಿಟಿಇ ) ಯು ಕಾರಣವಾಗಿದೆ . +ಎಐಸಿಟಿಇ ( AICTE ) ಯು ಭಾರತೀಯ ಸಂಸ್ಥೆಗಳ ನಿರ್ದಿಷ್ಟ ವಿಭಾಗಗಳ ಅಡಿಯಲ್ಲಿ ಸ್ನಾತಕೋತ್ತರ ಮತ್ತು ಪದವಿ ಕಾರ್ಯಕ್ರಮಗಳನ್ನು ಅದರ ಕಾಯ್ದೆಯ ಪ್ರಕಾರ ಮಾನ್ಯಮಾಡುತ್ತದೆ. [ ೪ +ಇದು ಇಂಜಿನಿಯರಿಂ‍ಗ್ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸ್ನಾತಕ ಆಧ್ಯಯನ , ಇಂಜಿನಿಯರಿಂ‍ಗ್ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸ್ನಾತಕೋತ್ತರ ಮತ್ತು ಸಂಶೊಧನಾ ಆಧ್ಯಯನ . +ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ , ಔಷಧೀಯ ಶಿಕ್ಷಣ , ವಾಸ್ತುಶಿಲ್ಪ , ಹೋಟೆಲ್ ನಿರ್ವಹಣೆ ಮತ್ತು ಅಡುಗೆ ತಂತ್ರಜ್ಞಾನ , ಮಾಹಿತಿ ತಂತ್ರಜ್ಞಾನ , ಪಟ್ಟಣ ಮತ್ತು ದೇಶ ಯೋಜನೆ ಮುಂತಾದ ಹತ್ತು ಶಾಸನಬದ್ಧ ಆಧ್ಯಯನ ಮಂಡಳಿಗಳ ಸಹಾಯ ಪಡೆಯುತ್ತದೆ . +ಎಐಸಿಸಿಟಿ ತನ್ನ ನೂತನ ಪ್ರಧಾನ ಕಛೇರಿಯನ್ನು ನೆಲ್ಸನ್ ಮಂಡೇಲಾ ರಸ್ತೆ , ವಸಂತ್ ಕುಂಜ್ , ನವದೆಹಲಿ , 110 067 ಯಲ್ಲಿ ಹೊಂದಿದೆ . +ಇಲ್ಲಿ ಅಧ್ಯಕ್ಷರು , ಉಪಾಧ್ಯಕ್ಷರು ಮತ್ತು ಸದಸ್ಯ ಕಾರ್ಯದರ್ಶಿಗಳ ಕಚೇರಿಗಳು ಇವೆ , ಜೊತೆಗೆ ಇದು ಕಾನ್ಪುರ್ , ಚಂಡೀಗಢ , ಗುರಗಾಂವ್ , ಮುಂಬೈ , ಭೋಪಾಲ್ , ಬರೋಡಾ , ಕೊಲ್ಕತ್ತಾ , ಗುವಾಹಟಿ , ಬೆಂಗಳೂರು , ಹೈದರಾಬಾದ್ , ಚೆನ್ನೈ ಮತ್ತು ತಿರುವನಂತಪುರಂ ನಲ್ಲಿ ಪ್ರಾದೇಶಿಕ ಕಚೇರಿಗಳನ್ನು ಹೊಂದಿದೆ , [ ೫ +ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣದ ಗುಣಮಟ್ಟವನ್ನು ಉತ್ತೇಜಿಸುವುದು . +ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ವ್ಯವಸ್ಥೆಯ ಯೋಜನೆ ಮತ್ತು ಸಂಯೋಜಿತ ಅಭಿವೃದ್ಧಿ . +ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ನಿರ್ವಹಣೆ ನಿಯಮಗಳು ಮತ್ತು ಮಾನದಂಡಗಳು.ಇ - ಆಡಳಿತ ದಳ +ಅನುಮೋದನಾ ದಳ +ಯೊಜನಾ , ಸಹಕಾರ ಮತ್ತು ಶೈಕ್ಷಣಿಕ ದಳ +ವಿಶ್ವವಿದ್ಯಾಲಯ ದಳ +ಆಡಳಿತ ದಳ +ಹಣಕಾಸು ದಳ +ಸಂಶೋದನೆ , ಸಾಂಸ್ಥಿಕ ಮತ್ತು ಸಿಬ್ಬಂದಿ ಅಬಿವೃದ್ಧಿ ದಳಮೂರು ಪ್ರಮುಖ ಉಪಕ್ರಮಗಳನ್ನು ೨೦೧೬ ರಲ್ಲಿ , ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ ( AICTE ) ಕೈಗೆತ್ತಿಕೊಂಡಿತು . +ಅವುಗಳಲ್ಲಿ , ಮೊದಲನೆಯದು , ಮಾನವ ಸಂಪನ್ಮೂಲ ಮತ್ತು ಅಭಿವೃದ್ಧಿ ಮಂತ್ರಾಲಯ ( MHRD ) ನೀಡಿದ ಜವಾಬ್ದಾರಿಯಾದ ಸ್ವಯಂ ( SWAYAM ) [ ೭ ಎಂಬ ರಾಷ್ಟ್ರೀಯ ಬೃಹತ್ ಮುಕ್ತ ಅಂತರ್ಜಾಲ ಪಾಠ ಪ್ರವಚನಗಳ ಸರಣಿ ( Massive Open Online Courses ( MOOCs ) ) ವೇದಿಕೆಯನ್ನು ಸಿದ್ದಪಡಿಸುವುದು . +ಎರಡನೆಯದು , ತಾಂತ್ರಿಕ ಕಾಲೇಜುಗಳ ಯುವ ಜಾಣ ಪ್ರತಿಭಾವಂತ ವಿದ್ಯಾರ್ಥಿಗಳಿಗೆ ಸವಾಲಾದ ೨೯ ವಿವಿಧ ಸರ್ಕಾರಿ ಇಲಾಖೆಗಳ ೫೯೮ ಸಮಸ್ಯೆಗಳನ್ನು ಬಗೆಹರಿಸಲು ಸ್ಮಾರ್ಟ್ ಇಂಡಿಯಾ ಹ್ಯಾಕಥಾನ್ - ೨೦೧೭ ( Smart India Hackathon - 2017 ) ನ್ನು ಪ್ರಾರಂಭಿಸುವುದಕ್ಕೆ ಸಂಬಂಧಿಸಿದ್ದು. [ ೮ಮೂರನೆಯದು , ನವೆಂಬರ್ ೧೬ ರಂದು ಸನ್ಮಾನ್ಯ ರಾಷ್ಟ್ರಪತಿಗಳು ರಾಷ್ಟ್ರಪತಿ ಭವನದ ಸಂದರ್ಶಕರ ಸಮಾವೇಶದಲ್ಲಿ ಎ.ಐ.ಸಿ.ಟಿ.ಟಿ.ಯ ವಿದ್ಯಾರ್ಥಿಗಳ ಪ್ರಾರಂಭಿಕೆ ( Start up ) ನೀತಿಯನ್ನು ಕಾರ್ಯಾರಂಭಿಸುವುದು . +2009 ರಲ್ಲಿ , ಕೇಂದ್ರ ಶಿಕ್ಷಣ ಸಚಿವ ಔಪಚಾರಿಕವಾಗಿ ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ ( AICTE ) ಮತ್ತು ಸಂಬಂಧಿತ ಸಂಸ್ಥೆಯಾದ , ವಿಶ್ವವಿದ್ಯಾನಿಲಯ ಧನಸಹಾಯ ಆಯೋಗ ( ಯುನಿವರ್ಸಿಟಿ ಗ್ರಾಂಟ್ಸ್ ಕಮೀಷನ್ ) ( UGC ) ) ವನ್ನು ಮುಚ್ಚುವ ತನ್ನ ಉದ್ದೇಶಗಳನ್ನು ತಿಳಿಸಿದರು. [ ೯ ಇದು ನಂತರ , ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ ( AICTE ) ಸಂಸ್ಥೆಗಳಿಗೆ ಅನುಮೋದನೆ ನೀಡುವ ರೀತಿಯಲ್ಲಿ ಸುಧಾರಣೆಗೆ ಮತ್ತು ರಾಷ್ಟ್ರೀಯ ಮಾನ್ಯತಾ ಮಂಡಳಿ ( ನ್ಯಾಷನಲ್ ಬೋರ್ಡ್ ಆಫ್ ಅಕ್ರೆಡಿಟೇಶನ್ ( NBA ) ) ಯನ್ನು ಸ್ವತಂತ್ರ ಸಂಸ್ಥೆಯಾಗಿ ಸ್ಥಾಪಿಸಲು ಕಾರಣವಾಯಿತು , [ ೧೦ 2013 ರ ಹೊತ್ತಿಗೆ ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ( AICTE ) ಇನ್ನೂ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ . +2017 ರ ಜೂನ್ 6 ರಂದು ಪ್ರಧಾನಿ ನರೇಂದ್ರ ಮೋದಿಯವರು ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ಮತ್ತು ವಿಶ್ವವಿದ್ಯಾನಿಲಯ ಧನಸಹಾಯ ಆಯೋಗ ( ಯುನಿವರ್ಸಿಟಿ ಗ್ರಾಂಟ್ಸ್ ಕಮೀಷನ್ ) ( UGC ) ) ರದ್ದಾಗುವುದಲ್ಲದೇ , ಹೈಯರ್ ಎಜುಕೇಶನ್ ಎಂಪವರ್ಮೆಂಟ್ ಎಜೆನ್ಸಿ ( Higher Education Empowerment Regulation Agency ( HEERA ) ) ಎಂಬ ಹೊಸ ಸಂಸ್ಥೆಯಾಗಿ ಬದಲಾಯಿಸಲ್ಪಡುವುದಾಗಿ ತಿಳಿಸಿದರು . +ಇದು ಇವೆರಡು ಸಂಸ್ಥೆಗಳಿಂದ ಉಂಟಾಗುವ ವಿಪರೀತ ನಿಯಮಾವಳಿಗಳನ್ನು ಸರಳಗೊಳಿಸುವ ಒಂದು ಪ್ರಯತ್ನವಾಗಿದೆ . +Regional accreditation +Education in India +DOEACC +Science and technology in India +Indian Institute of Technologyhttps : / / www.aicte - india.org / +↑ Regional Offices Archived 19 January 2010 at the Wayback Machine . +AICTE website . +↑ ೨.೦ ೨.೧ ೨.೨ " Leadership Team " . +www.aicte - india.org . +Retrieved 9 April 2018 . +↑ Technical Education Overview Archived 5 October 2011 at the Wayback Machine . +Department of Higher Education +↑ AICTE Act | +bot = medic } } +↑ National Level Councils Archived 1 February 2010 at the Wayback Machine . +Tech Ed. , Department of Higher Education . +↑ ೬.೦ ೬.೧ [ ೧ +↑ https : / / swayam.gov.in / +↑ https : / / sih.gov.in / +↑ " UGC , AICTE to be scrapped : Sibal " . +iGovernment.in . +Archived from the original on 9 October 2011 . +Retrieved 29 November 2011 . +Unknown parameter | +deadurl = ignored ( help ) +↑ " AICTE to revamp its approval system next week " . +Business Standard . +Retrieved 29 November 2011 . diff --git "a/Sample-Output/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" "b/Sample-Output/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" new file mode 100644 index 0000000..4ad00b1 --- /dev/null +++ "b/Sample-Output/\340\262\205\340\262\226\340\262\277\340\262\262_\340\262\255\340\262\276\340\262\260\340\262\244\340\263\200\340\262\257_\340\262\244\340\262\276\340\262\202\340\262\244\340\263\215\340\262\260\340\262\277\340\262\225_\340\262\266\340\262\277\340\262\225\340\263\215\340\262\267\340\262\243_\340\262\252\340\262\260\340\262\277\340\262\267\340\262\244\340\263\215.txt" @@ -0,0 +1,842 @@ + +1 ಅಖಿಲ unk +2 ಭಾರತೀಯ unk +3 ತಾಂತ್ರಿಕ unk +4 ಶಿಕ್ಷಣ unk +5 ಪರಿಷತ್ತು unk +6 ( unk +7 ಎಐಸಿಟಿಇ unk +8 ) unk +9 ( unk +10 All unk +11 India unk +12 Council unk +13 for unk +14 Technical unk +15 Education unk +16 ( unk +17 AICTE unk +18 ) unk +19 ) unk +20 ಎಂಬುದು unk +21 ಮಾನವ unk +22 ಸಂಪನ್ಮೂಲ unk +23 ಸಂಪನ್ಮೂಲ unk +24 ಸಚಿವಾಲಯದ unk +25 , unk +26 ಉನ್ನತ unk +27 ಶಿಕ್ಷಣ unk +28 ಇಲಾಖೆಯ unk +29 ಅಡಿಯಲ್ಲಿ unk +30 ತಾಂತ್ರಿಕ unk +31 ಶಿಕ್ಷಣಕ್ಕಾಗಿ unk +32 ರಾಷ್ಟ್ರೀಯ unk +33 ಮಟ್ಟದ unk +34 ಸಂಸ್ಥೆಯಾಗಿದೆ unk +35 . unk + + + +1 [ unk +2 ೩ unk +3 ನವೆಂಬರ್ unk +4 1945 unk +5 ರಲ್ಲಿ unk +6 ಸ್ಥಾಪನೆಯಾದ unk +7 ಸಲಹಾ unk +8 ಮಂಡಳಿ unk +9 ಮತ್ತು unk +10 ನಂತರ unk +11 1987 unk +12 ರಲ್ಲಿ unk +13 ಸಂಸತ್ತಿನ unk +14 ಕಾಯಿದೆಯಡಿ unk +15 ಶಾಸನಬದ್ಧ unk +16 ಸ್ಥಾನಮಾನವನ್ನು unk +17 ನೀಡಲ್ಪಟ್ಟಿತು unk +18 , unk +19 ಭಾರತದಲ್ಲಿ unk +20 ತಾಂತ್ರಿಕ unk +21 ಶಿಕ್ಷಣ unk +22 ಮತ್ತು unk +23 ನಿರ್ವಹಣಾ unk +24 ಶಿಕ್ಷಣ unk +25 ವ್ಯವಸ್ಥೆಯ unk +26 ಸರಿಯಾದ unk +27 ಯೋಜನೆ unk +28 ಮತ್ತು unk +29 ಸಂಘಟಿತ unk +30 ಅಭಿವೃದ್ಧಿಗೆ unk +31 ಅಖಿಲ unk +32 ಭಾರತೀಯ unk +33 ತಾಂತ್ರಿಕ unk +34 ಶಿಕ್ಷಣ unk +35 ಪರಿಷತ್ತು unk +36 ( unk +37 ಎಐಸಿಟಿಇ unk +38 ) unk +39 ಯು unk +40 ಕಾರಣವಾಗಿದೆ unk +41 . unk + + + +1 ಎಐಸಿಟಿಇ unk +2 ( unk +3 AICTE unk +4 ) unk +5 ಯು unk +6 ಭಾರತೀಯ unk +7 ಸಂಸ್ಥೆಗಳ unk +8 ನಿರ್ದಿಷ್ಟ unk +9 ವಿಭಾಗಗಳ unk +10 ಅಡಿಯಲ್ಲಿ unk +11 ಸ್ನಾತಕೋತ್ತರ unk +12 ಮತ್ತು unk +13 ಪದವಿ unk +14 ಕಾರ್ಯಕ್ರಮಗಳನ್ನು unk +15 ಅದರ unk +16 ಕಾಯ್ದೆಯ unk +17 ಪ್ರಕಾರ unk +18 ಮಾನ್ಯಮಾಡುತ್ತದೆ unk +19 . unk + + + +1 [ unk +2 ೪ unk + + + +1 ಇದು unk +2 ಇಂಜಿನಿಯರಿಂ‍ಗ್ unk +3 ಮತ್ತು unk +4 ತಂತ್ರಜ್ಞಾನ unk +5 ಸ್ನಾತಕ unk +6 ಆಧ್ಯಯನ unk +7 , unk +8 ಇಂಜಿನಿಯರಿಂ‍ಗ್ unk +9 ಮತ್ತು unk +10 ತಂತ್ರಜ್ಞಾನ unk +11 ಸ್ನಾತಕೋತ್ತರ unk +12 ಮತ್ತು unk +13 ಸಂಶೊಧನಾ unk +14 ಆಧ್ಯಯನ unk +15 . unk + + + +1 ತಾಂತ್ರಿಕ unk +2 ಶಿಕ್ಷಣ unk +3 , unk +4 ಔಷಧೀಯ unk +5 ಶಿಕ್ಷಣ unk +6 , unk +7 ವಾಸ್ತುಶಿಲ್ಪ unk +8 , unk +9 ಹೋಟೆಲ್ unk +10 ನಿರ್ವಹಣೆ unk +11 ಮತ್ತು unk +12 ಅಡುಗೆ unk +13 ತಂತ್ರಜ್ಞಾನ unk +14 , unk +15 ಮಾಹಿತಿ unk +16 ತಂತ್ರಜ್ಞಾನ unk +17 , unk +18 ಪಟ್ಟಣ unk +19 ಮತ್ತು unk +20 ದೇಶ unk +21 ಯೋಜನೆ unk +22 ಮುಂತಾದ unk +23 ಹತ್ತು unk +24 ಶಾಸನಬದ್ಧ unk +25 ಆಧ್ಯಯನ unk +26 ಮಂಡಳಿಗಳ unk +27 ಸಹಾಯ unk +28 ಪಡೆಯುತ್ತದೆ unk +29 . unk + + + +1 ಎಐಸಿಸಿಟಿ unk +2 ತನ್ನ unk +3 ನೂತನ unk +4 ಪ್ರಧಾನ unk +5 ಕಛೇರಿಯನ್ನು unk +6 ನೆಲ್ಸನ್ unk +7 ಮಂಡೇಲಾ unk +8 ರಸ್ತೆ unk +9 , unk +10 ವಸಂತ್ unk +11 ಕುಂಜ್ unk +12 , unk +13 ನವದೆಹಲಿ unk +14 , unk +15 110 unk +16 067 unk +17 ಯಲ್ಲಿ unk +18 ಹೊಂದಿದೆ unk +19 . unk + + + +1 ಇಲ್ಲಿ unk +2 ಅಧ್ಯಕ್ಷರು unk +3 , unk +4 ಉಪಾಧ್ಯಕ್ಷರು unk +5 ಮತ್ತು unk +6 ಸದಸ್ಯ unk +7 ಕಾರ್ಯದರ್ಶಿಗಳ unk +8 ಕಚೇರಿಗಳು unk +9 ಇವೆ unk +10 , unk +11 ಜೊತೆಗೆ unk +12 ಇದು unk +13 ಕಾನ್ಪುರ್ unk +14 , unk +15 ಚಂಡೀಗಢ unk +16 , unk +17 ಗುರಗಾಂವ್ unk +18 , unk +19 ಮುಂಬೈ unk +20 , unk +21 ಭೋಪಾಲ್ unk +22 , unk +23 ಬರೋಡಾ unk +24 , unk +25 ಕೊಲ್ಕತ್ತಾ unk +26 , unk +27 ಗುವಾಹಟಿ unk +28 , unk +29 ಬೆಂಗಳೂರು unk +30 , unk +31 ಹೈದರಾಬಾದ್ unk +32 , unk +33 ಚೆನ್ನೈ unk +34 ಮತ್ತು unk +35 ತಿರುವನಂತಪುರಂ unk +36 ನಲ್ಲಿ unk +37 ಪ್ರಾದೇಶಿಕ unk +38 ಕಚೇರಿಗಳನ್ನು unk +39 ಹೊಂದಿದೆ unk +40 , unk +41 [ unk +42 ೫ unk + + + +1 ತಾಂತ್ರಿಕ unk +2 ಶಿಕ್ಷಣದ unk +3 ಗುಣಮಟ್ಟವನ್ನು unk +4 ಉತ್ತೇಜಿಸುವುದು unk +5 . unk + + + +1 ತಾಂತ್ರಿಕ unk +2 ಶಿಕ್ಷಣ unk +3 ವ್ಯವಸ್ಥೆಯ unk +4 ಯೋಜನೆ unk +5 ಮತ್ತು unk +6 ಸಂಯೋಜಿತ unk +7 ಅಭಿವೃದ್ಧಿ unk +8 . unk + + + +1 ನಿಯಂತ್ರಣಗಳು unk +2 ಮತ್ತು unk +3 ನಿರ್ವಹಣೆ unk +4 ನಿಯಮಗಳು unk +5 ಮತ್ತು unk +6 ಮಾನದಂಡಗಳು.ಇ unk +7 - unk +8 ಆಡಳಿತ unk +9 ದಳ unk + + + +1 ಅನುಮೋದನಾ unk +2 ದಳ unk + + + +1 ಯೊಜನಾ unk +2 , unk +3 ಸಹಕಾರ unk +4 ಮತ್ತು unk +5 ಶೈಕ್ಷಣಿಕ unk +6 ದಳ unk + + + +1 ವಿಶ್ವವಿದ್ಯಾಲಯ unk +2 ದಳ unk + + + +1 ಆಡಳಿತ unk +2 ದಳ unk + + + +1 ಹಣಕಾಸು unk +2 ದಳ unk + + + +1 ಸಂಶೋದನೆ unk +2 , unk +3 ಸಾಂಸ್ಥಿಕ unk +4 ಮತ್ತು unk +5 ಸಿಬ್ಬಂದಿ unk +6 ಅಬಿವೃದ್ಧಿ unk +7 ದಳಮೂರು unk +8 ಪ್ರಮುಖ unk +9 ಉಪಕ್ರಮಗಳನ್ನು unk +10 ೨೦೧೬ unk +11 ರಲ್ಲಿ unk +12 , unk +13 ಅಖಿಲ unk +14 ಭಾರತೀಯ unk +15 ತಾಂತ್ರಿಕ unk +16 ಶಿಕ್ಷಣ unk +17 ಪರಿಷತ್ unk +18 ( unk +19 AICTE unk +20 ) unk +21 ಕೈಗೆತ್ತಿಕೊಂಡಿತು unk +22 . unk + + + +1 ಅವುಗಳಲ್ಲಿ unk +2 , unk +3 ಮೊದಲನೆಯದು unk +4 , unk +5 ಮಾನವ unk +6 ಸಂಪನ್ಮೂಲ unk +7 ಮತ್ತು unk +8 ಅಭಿವೃದ್ಧಿ unk +9 ಮಂತ್ರಾಲಯ unk +10 ( unk +11 MHRD unk +12 ) unk +13 ನೀಡಿದ unk +14 ಜವಾಬ್ದಾರಿಯಾದ unk +15 ಸ್ವಯಂ unk +16 ( unk +17 SWAYAM unk +18 ) unk +19 [ unk +20 ೭ unk +21 ಎಂಬ unk +22 ರಾಷ್ಟ್ರೀಯ unk +23 ಬೃಹತ್ unk +24 ಮುಕ್ತ unk +25 ಅಂತರ್ಜಾಲ unk +26 ಪಾಠ unk +27 ಪ್ರವಚನಗಳ unk +28 ಸರಣಿ unk +29 ( unk +30 Massive unk +31 Open unk +32 Online unk +33 Courses unk +34 ( unk +35 MOOCs unk +36 ) unk +37 ) unk +38 ವೇದಿಕೆಯನ್ನು unk +39 ಸಿದ್ದಪಡಿಸುವುದು unk +40 . unk + + + +1 ಎರಡನೆಯದು unk +2 , unk +3 ತಾಂತ್ರಿಕ unk +4 ಕಾಲೇಜುಗಳ unk +5 ಯುವ unk +6 ಜಾಣ unk +7 ಪ್ರತಿಭಾವಂತ unk +8 ವಿದ್ಯಾರ್ಥಿಗಳಿಗೆ unk +9 ಸವಾಲಾದ unk +10 ೨೯ unk +11 ವಿವಿಧ unk +12 ಸರ್ಕಾರಿ unk +13 ಇಲಾಖೆಗಳ unk +14 ೫೯೮ unk +15 ಸಮಸ್ಯೆಗಳನ್ನು unk +16 ಬಗೆಹರಿಸಲು unk +17 ಸ್ಮಾರ್ಟ್ unk +18 ಇಂಡಿಯಾ unk +19 ಹ್ಯಾಕಥಾನ್ unk +20 - unk +21 ೨೦೧೭ unk +22 ( unk +23 Smart unk +24 India unk +25 Hackathon unk +26 - unk +27 2017 unk +28 ) unk +29 ನ್ನು unk +30 ಪ್ರಾರಂಭಿಸುವುದಕ್ಕೆ unk +31 ಸಂಬಂಧಿಸಿದ್ದು unk +32 . unk + + + +1 [ unk +2 ೮ಮ unk +3 ೂರನೆಯದು unk +4 , unk +5 ನವೆಂಬರ್ unk +6 ೧೬ unk +7 ರಂದು unk +8 ಸನ್ಮಾನ್ಯ unk +9 ರಾಷ್ಟ್ರಪತಿಗಳು unk +10 ರಾಷ್ಟ್ರಪತಿ unk +11 ಭವನದ unk +12 ಸಂದರ್ಶಕರ unk +13 ಸಮಾವೇಶದಲ್ಲಿ unk +14 ಎ.ಐ.ಸಿ.ಟಿ.ಟಿ.ಯ unk +15 ವಿದ್ಯಾರ್ಥಿಗಳ unk +16 ಪ್ರಾರಂಭಿಕೆ unk +17 ( unk +18 Start unk +19 up unk +20 ) unk +21 ನೀತಿಯನ್ನು unk +22 ಕಾರ್ಯಾರಂಭಿಸುವುದು unk +23 . unk + + + +1 2009 unk +2 ರಲ್ಲಿ unk +3 , unk +4 ಕೇಂದ್ರ unk +5 ಶಿಕ್ಷಣ unk +6 ಸಚಿವ unk +7 ಔಪಚಾರಿಕವಾಗಿ unk +8 ಅಖಿಲ unk +9 ಭಾರತೀಯ unk +10 ತಾಂತ್ರಿಕ unk +11 ಶಿಕ್ಷಣ unk +12 ಪರಿಷತ್ unk +13 ( unk +14 AICTE unk +15 ) unk +16 ಮತ್ತು unk +17 ಸಂಬಂಧಿತ unk +18 ಸಂಸ್ಥೆಯಾದ unk +19 , unk +20 ವಿಶ್ವವಿದ್ಯಾನಿಲಯ unk +21 ಧನಸಹಾಯ unk +22 ಆಯೋಗ unk +23 ( unk +24 ಯುನಿವರ್ಸಿಟಿ unk +25 ಗ್ರಾಂಟ್ಸ್ unk +26 ಕಮೀಷನ್ unk +27 ) unk +28 ( unk +29 UGC unk +30 ) unk +31 ) unk +32 ವನ್ನು unk +33 ಮುಚ್ಚುವ unk +34 ತನ್ನ unk +35 ಉದ್ದೇಶಗಳನ್ನು unk +36 ತಿಳಿಸಿದರು unk +37 . unk + + + +1 [ unk +2 ೯ unk +3 ಇದು unk +4 ನಂತರ unk +5 , unk +6 ಅಖಿಲ unk +7 ಭಾರತೀಯ unk +8 ತಾಂತ್ರಿಕ unk +9 ಶಿಕ್ಷಣ unk +10 ಪರಿಷತ್ unk +11 ( unk +12 AICTE unk +13 ) unk +14 ಸಂಸ್ಥೆಗಳಿಗೆ unk +15 ಅನುಮೋದನೆ unk +16 ನೀಡುವ unk +17 ರೀತಿಯಲ್ಲಿ unk +18 ಸುಧಾರಣೆಗೆ unk +19 ಮತ್ತು unk +20 ರಾಷ್ಟ್ರೀಯ unk +21 ಮಾನ್ಯತಾ unk +22 ಮಂಡಳಿ unk +23 ( unk +24 ನ್ಯಾಷನಲ್ unk +25 ಬೋರ್ಡ್ unk +26 ಆಫ್ unk +27 ಅಕ್ರೆಡಿಟೇಶನ್ unk +28 ( unk +29 NBA unk +30 ) unk +31 ) unk +32 ಯನ್ನು unk +33 ಸ್ವತಂತ್ರ unk +34 ಸಂಸ್ಥೆಯಾಗಿ unk +35 ಸ್ಥಾಪಿಸಲು unk +36 ಕಾರಣವಾಯಿತು unk +37 , unk +38 [ unk +39 ೧೦ unk +40 2013 unk +41 ರ unk +42 ಹೊತ್ತಿಗೆ unk +43 ಅಖಿಲ unk +44 ಭಾರತೀಯ unk +45 ತಾಂತ್ರಿಕ unk +46 ಶಿಕ್ಷಣ unk +47 ಪರಿಷತ್ತು unk +48 ( unk +49 AICTE unk +50 ) unk +51 ಇನ್ನೂ unk +52 ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ unk +53 . unk + + + +1 2017 unk +2 ರ unk +3 ಜೂನ್ unk +4 6 unk +5 ರಂದು unk +6 ಪ್ರಧಾನಿ unk +7 ನರೇಂದ್ರ unk +8 ಮೋದಿಯವರು unk +9 ಅಖಿಲ unk +10 ಭಾರತೀಯ unk +11 ತಾಂತ್ರಿಕ unk +12 ಶಿಕ್ಷಣ unk +13 ಪರಿಷತ್ತು unk +14 ಮತ್ತು unk +15 ವಿಶ್ವವಿದ್ಯಾನಿಲಯ unk +16 ಧನಸಹಾಯ unk +17 ಆಯೋಗ unk +18 ( unk +19 ಯುನಿವರ್ಸಿಟಿ unk +20 ಗ್ರಾಂಟ್ಸ್ unk +21 ಕಮೀಷನ್ unk +22 ) unk +23 ( unk +24 UGC unk +25 ) unk +26 ) unk +27 ರದ್ದಾಗುವುದಲ್ಲದೇ unk +28 , unk +29 ಹೈಯರ್ unk +30 ಎಜುಕೇಶನ್ unk +31 ಎಂಪವರ್ಮೆಂಟ್ unk +32 ಎಜೆನ್ಸಿ unk +33 ( unk +34 Higher unk +35 Education unk +36 Empowerment unk +37 Regulation unk +38 Agency unk +39 ( unk +40 HEERA unk +41 ) unk +42 ) unk +43 ಎಂಬ unk +44 ಹೊಸ unk +45 ಸಂಸ್ಥೆಯಾಗಿ unk +46 ಬದಲಾಯಿಸಲ್ಪಡುವುದಾಗಿ unk +47 ತಿಳಿಸಿದರು unk +48 . unk + + + +1 ಇದು unk +2 ಇವೆರಡು unk +3 ಸಂಸ್ಥೆಗಳಿಂದ unk +4 ಉಂಟಾಗುವ unk +5 ವಿಪರೀತ unk +6 ನಿಯಮಾವಳಿಗಳನ್ನು unk +7 ಸರಳಗೊಳಿಸುವ unk +8 ಒಂದು unk +9 ಪ್ರಯತ್ನವಾಗಿದೆ unk +10 . unk + + + +1 Regional unk +2 accreditation unk + + + +1 Education unk +2 in unk +3 India unk + + + +1 DOEACC unk + + + +1 Science unk +2 and unk +3 technology unk +4 in unk +5 India unk + + + +1 Indian unk +2 Institute unk +3 of unk +4 Technologyhttps unk +5 : unk +6 / unk +7 / unk +8 www.aicte unk +9 - unk +10 india.org unk +11 / unk + + + +1 ↑ unk +2 Regional unk +3 Offices unk +4 Archived unk +5 19 unk +6 January unk +7 2010 unk +8 at unk +9 the unk +10 Wayback unk +11 Machine unk +12 . unk + + + +1 AICTE unk +2 website unk +3 . unk + + + +1 ↑ unk +2 ೨.೦ unk +3 ೨.೧ unk +4 ೨.೨ unk +5 " unk +6 Leadership unk +7 Team unk +8 " unk +9 . unk + + + +1 www.aicte unk +2 - unk +3 india.org unk +4 . unk + + + +1 Retrieved unk +2 9 unk +3 April unk +4 2018 unk +5 . unk + + + +1 ↑ unk +2 Technical unk +3 Education unk +4 Overview unk +5 Archived unk +6 5 unk +7 October unk +8 2011 unk +9 at unk +10 the unk +11 Wayback unk +12 Machine unk +13 . unk + + + +1 Department unk +2 of unk +3 Higher unk +4 Education unk + + + +1 ↑ unk +2 AICTE unk +3 Act unk +4 | unk + + + +1 bot unk +2 = unk +3 medic unk +4 } unk +5 } unk + + + +1 ↑ unk +2 National unk +3 Level unk +4 Councils unk +5 Archived unk +6 1 unk +7 February unk +8 2010 unk +9 at unk +10 the unk +11 Wayback unk +12 Machine unk +13 . unk + + + +1 Tech unk +2 Ed unk +3 . unk + + + +1 , unk +2 Department unk +3 of unk +4 Higher unk +5 Education unk +6 . unk + + + +1 ↑ unk +2 ೬.೦ unk +3 ೬.೧ unk +4 [ unk +5 ೧ unk + + + +1 ↑ unk +2 https unk +3 : unk +4 / unk +5 / unk +6 swayam.gov.in unk +7 / unk + + + +1 ↑ unk +2 https unk +3 : unk +4 / unk +5 / unk +6 sih.gov.in unk +7 / unk + + + +1 ↑ unk +2 " unk +3 UGC unk +4 , unk +5 AICTE unk +6 to unk +7 be unk +8 scrapped unk +9 : unk +10 Sibal unk +11 " unk +12 . unk + + + +1 iGovernment.in unk +2 . unk + + + +1 Archived unk +2 from unk +3 the unk +4 original unk +5 on unk +6 9 unk +7 October unk +8 2011 unk +9 . unk + + + +1 Retrieved unk +2 29 unk +3 November unk +4 2011 unk +5 . unk + + + +1 Unknown unk +2 parameter unk +3 | unk + + + +1 deadurl unk +2 = unk +3 ignored unk +4 ( unk +5 help unk +6 ) unk + + + +1 ↑ unk +2 " unk +3 AICTE unk +4 to unk +5 revamp unk +6 its unk +7 approval unk +8 system unk +9 next unk +10 week unk +11 " unk +12 . unk + + + +1 Business unk +2 Standard unk +3 . unk + + + +1 Retrieved unk +2 29 unk +3 November unk +4 2011 unk +5 . unk + + + diff --git a/readme.txt b/readme.txt new file mode 100644 index 0000000..2e23513 --- /dev/null +++ b/readme.txt @@ -0,0 +1,23 @@ +# How to run the code +python3 tokenizer_for_indian_languages_on_files.py --input input_folder --output output_folder --lang 2-digit ISO 639-1 code + +input_folder: Contains raw files +output_folder: Just give a name (no need to create a folder), an output_folder will be created where the tokenized outputs will be saved file wise in SSF format +language: language codes, please see the list of codes for different languages +Hindi: hi +Oriya/Odia: or +Manipuri: mn +Assamese: as +Bengali: bn +Punjabi: pa +Urdu: ur +English: en +Gujarati: gu +Marathi: mr +Malayalam: ml +Kannada: kn +Telugu: te +Tamil: ta +Sample Run: (Run this code in your terminal) +python3 tokenizer_for_indian_languages_on_files.py --input Sample-Input --output Sample-Output --lang kn + diff --git a/tokenizer_for_indian_languages_on_files.py b/tokenizer_for_indian_languages_on_files.py new file mode 100644 index 0000000..f439cf7 --- /dev/null +++ b/tokenizer_for_indian_languages_on_files.py @@ -0,0 +1,158 @@ +# how to run the code +# python3 tokenizer_for_indian_languages_on_files.py --input InputFolder --output OutputFolder --lang 0 +# lang parameter is a 2-digit ISO 639-1 code for languages. +# for languages ['hi', 'or', 'mn', 'as', 'bn', 'pa'], purna biram as sentence end marker, lang = 0 +# for Urdu, '۔' as sentence end marker, lang = 1 +# for languages ['en', 'gu', 'mr', 'ml', 'kn', 'te', 'ta'], '.' as sentence end marker, lang = 2 +# works at folder and file level +import re +import argparse +import os + + +# patterns for tokenization +token_specification = [ + ('datemonth', + r'^(0?[1-9]|1[012])[-\/\.](0?[1-9]|[12][0-9]|3[01])[-\/\.](1|2)\d\d\d$'), + ('monthdate', + r'^(0?[1-9]|[12][0-9]|3[01])[-\/\.](0?[1-9]|1[012])[-\/\.](1|2)\d\d\d$'), + ('yearmonth', + r'^((1|2)\d\d\d)[-\/\.](0?[1-9]|1[012])[-\/\.](0?[1-9]|[12][0-9]|3[01])'), + ('EMAIL1', r'([\w\.])+@(\w)+\.(com|org|co\.in)$'), + ('url1', r'(www\.)([-a-z0-9]+\.)*([-a-z0-9]+.*)(\/[-a-z0-9]+)*/i'), + ('url', r'/((?:https?\:\/\/|www\.)(?:[-a-z0-9]+\.)*[-a-z0-9]+.*)/i'), + ('BRACKET', r'[\(\)\[\]\{\}]'), # Brackets + ('NUMBER', r'^(\d+)([,\.]\d+)*(\w)*'), # Integer or decimal number + ('ASSIGN', r'[~:]'), # Assignment operator + ('END', r'[;!_]'), # Statement terminator + ('EQUAL', r'='), # Equals + ('OP', r'[+*\/\-]'), # Arithmetic operators + ('QUOTES', r'[\"\'‘’]'), # quotes + ('Fullstop', r'(\.+)$'), + ('ellips', r'\.(\.)+'), + ('HYPHEN', r'[-+\|+]'), + ('Slashes', r'[\\\/]'), + ('COMMA12', r'[,%]'), + ('hin_stop', r'।'), + ('quotes_question', r'[”\?]'), + ('hashtag', r'#') +] +# compile regular expressions +tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in token_specification) +get_token = re.compile(tok_regex) + + +def tokenize(list_s): + """Tokenize a list of tokens.""" + tkns = [] + for wrds in list_s: + wrds_len = len(wrds) + initial_pos = 0 + end_pos = 0 + while initial_pos <= (wrds_len-1): + mo = get_token.match(wrds, initial_pos) + if mo is not None and len(mo.group(0)) == wrds_len: + tkns.append(wrds) + initial_pos = wrds_len + else: + match_out = get_token.search(wrds, initial_pos) + if match_out is not None: + end_pos = match_out.end() + if match_out.lastgroup == "NUMBER": + aa = wrds[initial_pos:(end_pos)] + else: + aa = wrds[initial_pos:(end_pos - 1)] + if aa != '': + tkns.append(aa) + if match_out.lastgroup != "NUMBER": + tkns.append(match_out.group(0)) + initial_pos = end_pos + else: + tkns.append(wrds[initial_pos:]) + initial_pos = wrds_len + return tkns + + +def read_file_and_tokenize(input_file, output_file, lang_type): + """Read file and tokenize.""" + string_sentences = '' + file_read = open(input_file, 'r', encoding='utf-8') + text = file_read.read().strip().replace(u'0xff', '') + if lang_type == 0: + sentences = re.findall('.*?।|.*?\n', text + '\n', re.UNICODE) + endMarkers = ['?', '।', '!', '|'] + elif lang_type == 1: + sentences = re.findall('.*?\n', text + '\n', re.UNICODE) + endMarkers = ['؟', '!', '|', '۔'] + else: + sentences = re.findall('.*?\n', text + '\n', re.UNICODE) + endMarkers = ['?', '.', '!', '|'] + count_sentence = 1 + for index, sentence in enumerate(sentences): + if sentence.strip() != '': + list_tokens = tokenize(sentence.split()) + end_sentence_markers = [index + 1 for index, token in enumerate(list_tokens) if token in ['?', '.', '۔', '؟', '।', '!', '|']] + if len(end_sentence_markers) > 0: + if end_sentence_markers[-1] != len(list_tokens): + end_sentence_markers += [len(list_tokens)] + end_sentence_markers_with_sentence_end_positions = [0] + end_sentence_markers + sentence_boundaries = list(zip(end_sentence_markers_with_sentence_end_positions, end_sentence_markers_with_sentence_end_positions[1:])) + for start, end in sentence_boundaries: + individual_sentence = list_tokens[start: end] + string_sentences += '\n' + mapped_tokens = list(map(lambda token_index: str( + token_index[0] + 1) + '\t' + token_index[1].strip() + '\tunk', list(enumerate(individual_sentence)))) + string_sentences += '\n'.join(mapped_tokens) + \ + '\n\n\n' + count_sentence += 1 + else: + string_sentences += '\n' + mapped_tokens = list(map(lambda token_index: str( + token_index[0] + 1) + '\t' + token_index[1].strip() + '\tunk', list(enumerate(list_tokens)))) + string_sentences += '\n'.join(mapped_tokens) + \ + '\n\n\n' + count_sentence += 1 + write_data_to_file(output_file, string_sentences) + + +def write_data_to_file(output_file, data): + """Write data to file.""" + with open(output_file, 'w', encoding='utf-8') as file_write: + file_write.write(data + '\n') + + +def main(): + """Pass arguments and call functions here.""" + parser = argparse.ArgumentParser() + parser.add_argument( + '--input', dest='inp', help="enter the input file path") + parser.add_argument( + '--output', dest='out', help="enter the output file path") + parser.add_argument( + '--lang', dest='lang', help="enter the language: two digit ISO code") + args = parser.parse_args() + if os.path.isdir(args.inp) and not os.path.isdir(args.out): + os.makedirs(args.out) + if args.lang in ['hi', 'or', 'mn', 'as', 'bn', 'pa']: + lang = 0 + elif args.lang == 'ur': + lang = 1 + elif args.lang in ['en', 'gu', 'mr', 'ml', 'kn', 'te', 'ta']: + lang = 2 + else: + lang = 0 + if os.path.isdir(args.inp): + for root, dirs, files in os.walk(args.inp): + for fl in files: + input_path = os.path.join(root, fl) + output_path = os.path.join(args.out, fl) + read_file_and_tokenize(input_path, output_path, lang) + else: + read_file_and_tokenize(args.inp, args.out, lang) + + +if __name__ == '__main__': + main() + -- GitLab