Files Added

Sample-Input/ಅಖಿಲ_ಭಾರತೀಯ_ತಾಂತ್ರಿಕ_ಶಿಕ್ಷಣ_ಪರಿಷತ್.txt

+ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ( ಎಐಸಿಟಿಇ ) ( All India Council for Technical Education ( AICTE ) ) ಎಂಬುದು ಮಾನವ ಸಂಪನ್ಮೂಲ ಸಂಪನ್ಮೂಲ ಸಚಿವಾಲಯದ , ಉನ್ನತ ಶಿಕ್ಷಣ ಇಲಾಖೆಯ ಅಡಿಯಲ್ಲಿ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣಕ್ಕಾಗಿ ರಾಷ್ಟ್ರೀಯ ಮಟ್ಟದ ಸಂಸ್ಥೆಯಾಗಿದೆ. [ ೩ ನವೆಂಬರ್ 1945 ರಲ್ಲಿ ಸ್ಥಾಪನೆಯಾದ ಸಲಹಾ ಮಂಡಳಿ ಮತ್ತು ನಂತರ 1987 ರಲ್ಲಿ ಸಂಸತ್ತಿನ ಕಾಯಿದೆಯಡಿ ಶಾಸನಬದ್ಧ ಸ್ಥಾನಮಾನವನ್ನು ನೀಡಲ್ಪಟ್ಟಿತು , ಭಾರತದಲ್ಲಿ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಮತ್ತು ನಿರ್ವಹಣಾ ಶಿಕ್ಷಣ ವ್ಯವಸ್ಥೆಯ ಸರಿಯಾದ ಯೋಜನೆ ಮತ್ತು ಸಂಘಟಿತ ಅಭಿವೃದ್ಧಿಗೆ ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ( ಎಐಸಿಟಿಇ ) ಯು ಕಾರಣವಾಗಿದೆ .
+ಎಐಸಿಟಿಇ ( AICTE ) ಯು ಭಾರತೀಯ ಸಂಸ್ಥೆಗಳ ನಿರ್ದಿಷ್ಟ ವಿಭಾಗಗಳ ಅಡಿಯಲ್ಲಿ ಸ್ನಾತಕೋತ್ತರ ಮತ್ತು ಪದವಿ ಕಾರ್ಯಕ್ರಮಗಳನ್ನು ಅದರ ಕಾಯ್ದೆಯ ಪ್ರಕಾರ ಮಾನ್ಯಮಾಡುತ್ತದೆ. [ ೪
+ಇದು ಇಂಜಿನಿಯರಿಂ‍ಗ್ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸ್ನಾತಕ ಆಧ್ಯಯನ , ಇಂಜಿನಿಯರಿಂ‍ಗ್ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸ್ನಾತಕೋತ್ತರ ಮತ್ತು ಸಂಶೊಧನಾ ಆಧ್ಯಯನ .
+ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ , ಔಷಧೀಯ ಶಿಕ್ಷಣ , ವಾಸ್ತುಶಿಲ್ಪ , ಹೋಟೆಲ್ ನಿರ್ವಹಣೆ ಮತ್ತು ಅಡುಗೆ ತಂತ್ರಜ್ಞಾನ , ಮಾಹಿತಿ ತಂತ್ರಜ್ಞಾನ , ಪಟ್ಟಣ ಮತ್ತು ದೇಶ ಯೋಜನೆ ಮುಂತಾದ ಹತ್ತು ಶಾಸನಬದ್ಧ ಆಧ್ಯಯನ ಮಂಡಳಿಗಳ ಸಹಾಯ ಪಡೆಯುತ್ತದೆ .
+ಎಐಸಿಸಿಟಿ ತನ್ನ ನೂತನ ಪ್ರಧಾನ ಕಛೇರಿಯನ್ನು ನೆಲ್ಸನ್ ಮಂಡೇಲಾ ರಸ್ತೆ , ವಸಂತ್ ಕುಂಜ್ , ನವದೆಹಲಿ , 110 067 ಯಲ್ಲಿ ಹೊಂದಿದೆ .
+ಇಲ್ಲಿ ಅಧ್ಯಕ್ಷರು , ಉಪಾಧ್ಯಕ್ಷರು ಮತ್ತು ಸದಸ್ಯ ಕಾರ್ಯದರ್ಶಿಗಳ ಕಚೇರಿಗಳು ಇವೆ , ಜೊತೆಗೆ ಇದು ಕಾನ್ಪುರ್ , ಚಂಡೀಗಢ , ಗುರಗಾಂವ್ , ಮುಂಬೈ , ಭೋಪಾಲ್ , ಬರೋಡಾ , ಕೊಲ್ಕತ್ತಾ , ಗುವಾಹಟಿ , ಬೆಂಗಳೂರು , ಹೈದರಾಬಾದ್ , ಚೆನ್ನೈ ಮತ್ತು ತಿರುವನಂತಪುರಂ ನಲ್ಲಿ ಪ್ರಾದೇಶಿಕ ಕಚೇರಿಗಳನ್ನು ಹೊಂದಿದೆ , [ ೫
+ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣದ ಗುಣಮಟ್ಟವನ್ನು ಉತ್ತೇಜಿಸುವುದು .
+ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ವ್ಯವಸ್ಥೆಯ ಯೋಜನೆ ಮತ್ತು ಸಂಯೋಜಿತ ಅಭಿವೃದ್ಧಿ .
+ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ನಿರ್ವಹಣೆ ನಿಯಮಗಳು ಮತ್ತು ಮಾನದಂಡಗಳು.ಇ - ಆಡಳಿತ ದಳ
+ಅನುಮೋದನಾ ದಳ
+ಯೊಜನಾ , ಸಹಕಾರ ಮತ್ತು ಶೈಕ್ಷಣಿಕ ದಳ
+ವಿಶ್ವವಿದ್ಯಾಲಯ ದಳ
+ಆಡಳಿತ ದಳ
+ಹಣಕಾಸು ದಳ
+ಸಂಶೋದನೆ , ಸಾಂಸ್ಥಿಕ ಮತ್ತು ಸಿಬ್ಬಂದಿ ಅಬಿವೃದ್ಧಿ ದಳಮೂರು ಪ್ರಮುಖ ಉಪಕ್ರಮಗಳನ್ನು ೨೦೧೬ ರಲ್ಲಿ , ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ ( AICTE ) ಕೈಗೆತ್ತಿಕೊಂಡಿತು .
+ಅವುಗಳಲ್ಲಿ , ಮೊದಲನೆಯದು , ಮಾನವ ಸಂಪನ್ಮೂಲ ಮತ್ತು ಅಭಿವೃದ್ಧಿ ಮಂತ್ರಾಲಯ ( MHRD ) ನೀಡಿದ ಜವಾಬ್ದಾರಿಯಾದ ಸ್ವಯಂ ( SWAYAM ) [ ೭ ಎಂಬ ರಾಷ್ಟ್ರೀಯ ಬೃಹತ್ ಮುಕ್ತ ಅಂತರ್ಜಾಲ ಪಾಠ ಪ್ರವಚನಗಳ ಸರಣಿ ( Massive Open Online Courses ( MOOCs ) ) ವೇದಿಕೆಯನ್ನು ಸಿದ್ದಪಡಿಸುವುದು .
+ಎರಡನೆಯದು , ತಾಂತ್ರಿಕ ಕಾಲೇಜುಗಳ ಯುವ ಜಾಣ ಪ್ರತಿಭಾವಂತ ವಿದ್ಯಾರ್ಥಿಗಳಿಗೆ ಸವಾಲಾದ ೨೯ ವಿವಿಧ ಸರ್ಕಾರಿ ಇಲಾಖೆಗಳ ೫೯೮ ಸಮಸ್ಯೆಗಳನ್ನು ಬಗೆಹರಿಸಲು ಸ್ಮಾರ್ಟ್ ಇಂಡಿಯಾ ಹ್ಯಾಕಥಾನ್ - ೨೦೧೭ ( Smart India Hackathon - 2017 ) ನ್ನು ಪ್ರಾರಂಭಿಸುವುದಕ್ಕೆ ಸಂಬಂಧಿಸಿದ್ದು. [ ೮ಮೂರನೆಯದು , ನವೆಂಬರ್ ೧೬ ರಂದು ಸನ್ಮಾನ್ಯ ರಾಷ್ಟ್ರಪತಿಗಳು ರಾಷ್ಟ್ರಪತಿ ಭವನದ ಸಂದರ್ಶಕರ ಸಮಾವೇಶದಲ್ಲಿ ಎ.ಐ.ಸಿ.ಟಿ.ಟಿ.ಯ ವಿದ್ಯಾರ್ಥಿಗಳ ಪ್ರಾರಂಭಿಕೆ ( Start up ) ನೀತಿಯನ್ನು ಕಾರ್ಯಾರಂಭಿಸುವುದು .
+2009 ರಲ್ಲಿ , ಕೇಂದ್ರ ಶಿಕ್ಷಣ ಸಚಿವ ಔಪಚಾರಿಕವಾಗಿ ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ ( AICTE ) ಮತ್ತು ಸಂಬಂಧಿತ ಸಂಸ್ಥೆಯಾದ , ವಿಶ್ವವಿದ್ಯಾನಿಲಯ ಧನಸಹಾಯ ಆಯೋಗ ( ಯುನಿವರ್ಸಿಟಿ ಗ್ರಾಂಟ್ಸ್ ಕಮೀಷನ್ ) ( UGC ) ) ವನ್ನು ಮುಚ್ಚುವ ತನ್ನ ಉದ್ದೇಶಗಳನ್ನು ತಿಳಿಸಿದರು. [ ೯ ಇದು ನಂತರ , ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ ( AICTE ) ಸಂಸ್ಥೆಗಳಿಗೆ ಅನುಮೋದನೆ ನೀಡುವ ರೀತಿಯಲ್ಲಿ ಸುಧಾರಣೆಗೆ ಮತ್ತು ರಾಷ್ಟ್ರೀಯ ಮಾನ್ಯತಾ ಮಂಡಳಿ ( ನ್ಯಾಷನಲ್ ಬೋರ್ಡ್ ಆಫ್ ಅಕ್ರೆಡಿಟೇಶನ್ ( NBA ) ) ಯನ್ನು ಸ್ವತಂತ್ರ ಸಂಸ್ಥೆಯಾಗಿ ಸ್ಥಾಪಿಸಲು ಕಾರಣವಾಯಿತು , [ ೧೦ 2013 ರ ಹೊತ್ತಿಗೆ ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ( AICTE ) ಇನ್ನೂ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ .
+2017 ರ ಜೂನ್ 6 ರಂದು ಪ್ರಧಾನಿ ನರೇಂದ್ರ ಮೋದಿಯವರು ಅಖಿಲ ಭಾರತೀಯ ತಾಂತ್ರಿಕ ಶಿಕ್ಷಣ ಪರಿಷತ್ತು ಮತ್ತು ವಿಶ್ವವಿದ್ಯಾನಿಲಯ ಧನಸಹಾಯ ಆಯೋಗ ( ಯುನಿವರ್ಸಿಟಿ ಗ್ರಾಂಟ್ಸ್ ಕಮೀಷನ್ ) ( UGC ) ) ರದ್ದಾಗುವುದಲ್ಲದೇ , ಹೈಯರ್ ಎಜುಕೇಶನ್ ಎಂಪವರ್ಮೆಂಟ್ ಎಜೆನ್ಸಿ ( Higher Education Empowerment Regulation Agency ( HEERA ) ) ಎಂಬ ಹೊಸ ಸಂಸ್ಥೆಯಾಗಿ ಬದಲಾಯಿಸಲ್ಪಡುವುದಾಗಿ ತಿಳಿಸಿದರು .
+ಇದು ಇವೆರಡು ಸಂಸ್ಥೆಗಳಿಂದ ಉಂಟಾಗುವ ವಿಪರೀತ ನಿಯಮಾವಳಿಗಳನ್ನು ಸರಳಗೊಳಿಸುವ ಒಂದು ಪ್ರಯತ್ನವಾಗಿದೆ .
+Regional accreditation
+Education in India
+DOEACC
+Science and technology in India
+Indian Institute of Technologyhttps : / / www.aicte - india.org /
+↑ Regional Offices Archived 19 January 2010 at the Wayback Machine .
+AICTE website .
+↑ ೨.೦ ೨.೧ ೨.೨ " Leadership Team " .
+www.aicte - india.org .
+Retrieved 9 April 2018 .
+↑ Technical Education Overview Archived 5 October 2011 at the Wayback Machine .
+Department of Higher Education
+↑ AICTE Act |
+bot = medic } }
+↑ National Level Councils Archived 1 February 2010 at the Wayback Machine .
+Tech Ed. , Department of Higher Education .
+↑ ೬.೦ ೬.೧ [ ೧
+↑ https : / / swayam.gov.in /
+↑ https : / / sih.gov.in /
+↑ " UGC , AICTE to be scrapped : Sibal " .
+iGovernment.in .
+Archived from the original on 9 October 2011 .
+Retrieved 29 November 2011 .
+Unknown parameter |
+deadurl = ignored ( help )
+↑ " AICTE to revamp its approval system next week " .
+Business Standard .
+Retrieved 29 November 2011 .

readme.txt

+# How to run the code
+python3 tokenizer_for_indian_languages_on_files.py --input input_folder --output output_folder --lang 2-digit ISO 639-1 code
+
+input_folder: Contains raw files
+output_folder: Just give a name (no need to create a folder), an output_folder will be created where the tokenized outputs will be saved file wise in SSF format
+language: language codes, please see the list of codes for different languages
+Hindi: hi
+Oriya/Odia: or
+Manipuri: mn
+Assamese: as
+Bengali: bn
+Punjabi: pa
+Urdu: ur
+English: en
+Gujarati: gu
+Marathi: mr
+Malayalam: ml
+Kannada: kn
+Telugu: te
+Tamil: ta
+Sample Run: (Run this code in your terminal)
+python3 tokenizer_for_indian_languages_on_files.py --input Sample-Input --output Sample-Output --lang kn
+

tokenizer_for_indian_languages_on_files.py

+# how to run the code
+# python3 tokenizer_for_indian_languages_on_files.py --input InputFolder --output OutputFolder --lang 0
+# lang parameter is a 2-digit ISO 639-1 code for languages.
+# for languages ['hi', 'or', 'mn', 'as', 'bn', 'pa'], purna biram as sentence end marker, lang = 0
+# for Urdu, '۔' as sentence end marker, lang = 1
+# for languages ['en', 'gu', 'mr', 'ml', 'kn', 'te', 'ta'], '.' as sentence end marker, lang = 2
+# works at folder and file level
+import re
+import argparse
+import os
+
+
+# patterns for tokenization
+token_specification = [
+    ('datemonth',
+     r'^(0?[1-9]|1[012])[-\/\.](0?[1-9]|[12][0-9]|3[01])[-\/\.](1|2)\d\d\d$'),
+    ('monthdate',
+     r'^(0?[1-9]|[12][0-9]|3[01])[-\/\.](0?[1-9]|1[012])[-\/\.](1|2)\d\d\d$'),
+    ('yearmonth',
+     r'^((1|2)\d\d\d)[-\/\.](0?[1-9]|1[012])[-\/\.](0?[1-9]|[12][0-9]|3[01])'),
+    ('EMAIL1', r'([\w\.])+@(\w)+\.(com|org|co\.in)$'),
+    ('url1', r'(www\.)([-a-z0-9]+\.)*([-a-z0-9]+.*)(\/[-a-z0-9]+)*/i'),
+    ('url', r'/((?:https?\:\/\/|www\.)(?:[-a-z0-9]+\.)*[-a-z0-9]+.*)/i'),
+    ('BRACKET', r'[\(\)\[\]\{\}]'),       # Brackets
+    ('NUMBER', r'^(\d+)([,\.]\d+)*(\w)*'),  # Integer or decimal number
+    ('ASSIGN', r'[~:]'),          # Assignment operator
+    ('END', r'[;!_]'),           # Statement terminator
+    ('EQUAL', r'='),   # Equals
+    ('OP', r'[+*\/\-]'),    # Arithmetic operators
+    ('QUOTES', r'[\"\'‘’]'),          # quotes
+    ('Fullstop', r'(\.+)$'),
+    ('ellips', r'\.(\.)+'),
+    ('HYPHEN', r'[-+\|+]'),
+    ('Slashes', r'[\\\/]'),
+    ('COMMA12', r'[,%]'),
+    ('hin_stop', r'।'),
+    ('quotes_question', r'[”\?]'),
+    ('hashtag', r'#')
+]
+# compile regular expressions
+tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in token_specification)
+get_token = re.compile(tok_regex)
+
+
+def tokenize(list_s):
+    """Tokenize a list of tokens."""
+    tkns = []
+    for wrds in list_s:
+        wrds_len = len(wrds)
+        initial_pos = 0
+        end_pos = 0
+        while initial_pos <= (wrds_len-1):
+            mo = get_token.match(wrds, initial_pos)
+            if mo is not None and len(mo.group(0)) == wrds_len:
+                tkns.append(wrds)
+                initial_pos = wrds_len
+            else:
+                match_out = get_token.search(wrds, initial_pos)
+                if match_out is not None:
+                    end_pos = match_out.end()
+                    if match_out.lastgroup == "NUMBER":
+                        aa = wrds[initial_pos:(end_pos)]
+                    else:
+                        aa = wrds[initial_pos:(end_pos - 1)]
+                    if aa != '':
+                        tkns.append(aa)
+                    if match_out.lastgroup != "NUMBER":
+                        tkns.append(match_out.group(0))
+                    initial_pos = end_pos
+                else:
+                    tkns.append(wrds[initial_pos:])
+                    initial_pos = wrds_len
+    return tkns
+
+
+def read_file_and_tokenize(input_file, output_file, lang_type):
+    """Read file and tokenize."""
+    string_sentences = ''
+    file_read = open(input_file, 'r', encoding='utf-8')
+    text = file_read.read().strip().replace(u'0xff', '')
+    if lang_type == 0:
+        sentences = re.findall('.*?।|.*?\n', text + '\n', re.UNICODE)
+        endMarkers = ['?', '।', '!', '|']
+    elif lang_type == 1:
+        sentences = re.findall('.*?\n', text + '\n', re.UNICODE)
+        endMarkers = ['؟', '!', '|', '۔']
+    else:
+        sentences = re.findall('.*?\n', text + '\n', re.UNICODE)
+        endMarkers = ['?', '.', '!', '|']
+    count_sentence = 1
+    for index, sentence in enumerate(sentences):
+        if sentence.strip() != '':
+            list_tokens = tokenize(sentence.split())
+            end_sentence_markers = [index + 1 for index, token in enumerate(list_tokens) if token in ['?', '.', '۔', '؟', '।', '!', '|']]
+            if len(end_sentence_markers) > 0:
+                if end_sentence_markers[-1] != len(list_tokens):
+                    end_sentence_markers += [len(list_tokens)]
+                end_sentence_markers_with_sentence_end_positions = [0] + end_sentence_markers
+                sentence_boundaries = list(zip(end_sentence_markers_with_sentence_end_positions, end_sentence_markers_with_sentence_end_positions[1:]))
+                for start, end in sentence_boundaries:
+                    individual_sentence = list_tokens[start: end]
+                    string_sentences += '<Sentence id=\'' + \
+                        str(count_sentence) + '\'>\n'
+                    mapped_tokens = list(map(lambda token_index: str(
+                        token_index[0] + 1) + '\t' + token_index[1].strip() + '\tunk', list(enumerate(individual_sentence))))
+                    string_sentences += '\n'.join(mapped_tokens) + \
+                        '\n</Sentence>\n\n'
+                    count_sentence += 1
+            else:
+                string_sentences += '<Sentence id=\'' + \
+                        str(count_sentence) + '\'>\n'
+                mapped_tokens = list(map(lambda token_index: str(
+                    token_index[0] + 1) + '\t' + token_index[1].strip() + '\tunk', list(enumerate(list_tokens))))
+                string_sentences += '\n'.join(mapped_tokens) + \
+                    '\n</Sentence>\n\n'
+                count_sentence += 1
+        write_data_to_file(output_file, string_sentences)
+
+
+def write_data_to_file(output_file, data):
+    """Write data to file."""
+    with open(output_file, 'w', encoding='utf-8') as file_write:
+        file_write.write(data + '\n')
+
+
+def main():
+    """Pass arguments and call functions here."""
+    parser = argparse.ArgumentParser()
+    parser.add_argument(
+        '--input', dest='inp', help="enter the input file path")
+    parser.add_argument(
+        '--output', dest='out', help="enter the output file path")
+    parser.add_argument(
+        '--lang', dest='lang', help="enter the language: two digit ISO code")
+    args = parser.parse_args()
+    if os.path.isdir(args.inp) and not os.path.isdir(args.out):
+        os.makedirs(args.out)
+    if args.lang in ['hi', 'or', 'mn', 'as', 'bn', 'pa']:
+        lang = 0
+    elif args.lang == 'ur':
+        lang = 1
+    elif args.lang in ['en', 'gu', 'mr', 'ml', 'kn', 'te', 'ta']:
+        lang = 2
+    else:
+        lang = 0
+    if os.path.isdir(args.inp):
+        for root, dirs, files in os.walk(args.inp):
+            for fl in files:
+                input_path = os.path.join(root, fl)
+                output_path = os.path.join(args.out, fl)
+                read_file_and_tokenize(input_path, output_path, lang)
+    else:
+        read_file_and_tokenize(args.inp, args.out, lang)
+
+
+if __name__ == '__main__':
+    main()
+