WO2012030020A1 - Touch screen apparatus for the blind, and method for recognizing electronic documents using a skip navigation method therefor - Google Patents

Touch screen apparatus for the blind, and method for recognizing electronic documents using a skip navigation method therefor Download PDF

Info

Publication number
WO2012030020A1
WO2012030020A1 PCT/KR2010/007752 KR2010007752W WO2012030020A1 WO 2012030020 A1 WO2012030020 A1 WO 2012030020A1 KR 2010007752 W KR2010007752 W KR 2010007752W WO 2012030020 A1 WO2012030020 A1 WO 2012030020A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
touch position
screen device
touch screen
document
Prior art date
Application number
PCT/KR2010/007752
Other languages
French (fr)
Korean (ko)
Inventor
박건
박영숙
Original Assignee
(주) 에스엔아이솔라
주식회사 에이티랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 에스엔아이솔라, 주식회사 에이티랩 filed Critical (주) 에스엔아이솔라
Publication of WO2012030020A1 publication Critical patent/WO2012030020A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04809Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Definitions

  • the present invention relates to a touch screen device for the visually impaired, and a method for recognizing an electronic document using a skip navigation method in the device, and more particularly, converts a document format according to a grid structure of a touch input unit, After placing and displaying each number in the touch position of the touch input unit while mapping and storing the serial number and the corresponding letter of each touch position, and when the touch position contact by the user is detected, the position and contact time information of the touch position touched are displayed.
  • the visually impaired person converts and outputs the characters mapped to the serial number of the entire touch position on the line or the characters mapped to the serial number of the touched position by using a text-to-speech engine.
  • Touch screen device for mobile and using skip navigation method in the device It relates how the document recognition.
  • the full touch type touch screen device adopts a touch screen input method that touches a character or a specific location on the screen instead of a keyboard input method, and is currently used in various fields such as computer devices, mobile communication terminals, kiosk terminals, and car AV systems. It is used a lot.
  • ATM Automatic Teller Machine
  • computer equipment for guidance in public places, etc.
  • touch screen input method In addition, ATM (Automated Teller Machine) devices for cash withdrawal, computer equipment for guidance in public places, etc. are mostly adopting the touch screen input method.
  • the full touch type touch screen device outputs a voice when an object displayed on the screen is focused with a finger, and requires an accidental operation through a random operation to a visually impaired person who cannot predict the position and direction of the object.
  • the full touch type touch screen device as described above has a disadvantage in that it cannot be read while moving in units of words or sentences when outputting a document by voice.
  • the touch screen of the touch screen device has an invalid area such as space between lines and space between lines, stable touch is difficult.
  • an object of the present invention is to visually facilitate the acquisition of information by searching the document in a variety of formats, such as words or sentences, when the visually impaired person using the touch screen device
  • the present invention provides a touch screen device for a disabled person and an electronic document recognition method using a skip navigation method.
  • each grid is a touch input formed of a touch position, the format of the document according to the grid structure of the touch input
  • a document format converting unit for converting and storing the characters in the document in the touch positions of the touch input unit and mapping and storing the serial numbers of the respective touch positions and the corresponding characters, when the touch position contact by the user is detected.
  • a touch sensor for determining the position and touch time information of the touch position, and the position and touch time information from the touch sensor.
  • a character recognition unit for recognizing characters mapped to the serial number of the entire touch position in the line or the character mapped with the serial number of the touched position, a text-to-speech character recognized by the character recognition unit
  • a touch screen device for a visually impaired person, including a speech synthesis processor for converting speech data into a text data using a Text to Speech (TTS) engine and a speech output unit for outputting speech data converted from the speech synthesis processor.
  • TTS Text to Speech
  • the touch screen device may further include a lattice structure guide that guides the lattice structure of the touch input unit by voice when power is turned on.
  • the touch input unit may be a full touch type touch screen.
  • the document format conversion unit converts the format of the document selected by the user to correspond to the grid structure of the touch input unit, and arranges each character in the document in the touch position of the touch input unit.
  • the character recognition unit determines a serial number of the touch position by using the position of the touch position.
  • the character recognition unit When the up, down, left, and right movements of the touch pointer detected by the touch sensing unit are within a predetermined time, the character recognition unit skips a document corresponding to the position according to the up, down, left, and right movements.
  • the character recognition unit recognizes a character mapped with a serial number of the specific touch position when the touch pointer moves up, down, left, and right for a predetermined time or more, and the touch pointer is touched with a specific touch position for a predetermined time. If no contact is made, the character mapped with the serial number of the specific touch position is skipped.
  • the character recognition unit recognizes the characters mapped to the serial number of the entire touch position on the line when the location is within a predetermined range and the contact time is more than a predetermined time, the location is outside the range and the If the contact time is longer than a predetermined time, the remaining characters of the line are recognized from the character mapped with the serial number of the corresponding touch position.
  • the predetermined range may be from a first position touch position of each line to a predetermined number of touch positions sequentially.
  • a text message or a tone indicating a blank is output.
  • the text recognition unit outputs a voice message indicating that there are no more sentences when the touch pointer is moved up, down, left, and right while contacting a touch position filled with a blank for a predetermined time or more.
  • the character recognition unit determines whether the next page exists when the last line contact of the current page is detected while moving the touch pointer up, down, left, and right, and if the next page exists, a voice message or a tone indicating 'next page' If the next page does not exist, a voice message or a tone indicating 'end of document' is output.
  • the character recognition unit is a predetermined predetermined position in the touch position positioned in the predetermined range of the predetermined line from the last line of the current page, while the touch pointer sequentially touches the touch position located within the predetermined range of each line.
  • the document format conversion unit requests a document format conversion of a next page, and when the touch pointer touches a touch position located within a predetermined range of the last line, it means 'next page'. Allow voice messages or tones to be output.
  • the document format conversion unit converts the format of the document corresponding to the next page according to the document format conversion request from the character recognition unit.
  • the grids of the touch input unit are consistently developed according to a predetermined rule, and each grid is adjacent to each other so that no invalid area exists.
  • a method for recognizing a document using a touch screen device for the visually impaired (a) converting the format of the document according to the grid structure of the touch input unit, and touches the characters in the document Mapping and storing the serial number of each touch position and the corresponding letter while placing and displaying each touch position in the input unit; and (b) when touch position contact by the user is detected, position and contact time information of the touch position touched.
  • C determining the location and contact time information determined in step (b).
  • an electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired which includes converting into voice data using an engine and (e) outputting the converted voice data.
  • the electronic document recognition method using the skip navigation method in the touch screen device for the visually impaired may further include outputting a grid structure of the touch screen as a voice when power-on is performed before step (a). .
  • step (c) if the location is in a predetermined range of a predetermined range and the contact time is more than a predetermined time, the characters mapped to the serial number of the entire touch position on the corresponding line are recognized, and the location is specified. If the contact time is out of the area and the contact time is more than a predetermined time, the remaining characters of the line are recognized from the character mapped with the serial number of the corresponding touch position.
  • step (c) when the touch pointer by the user moves up, down, left and right and contacts a specific touch position for a predetermined time or more, a character mapped with the serial number of the specific touch position is recognized, and the touch pointer is If a specific touch position has not been touched for a predetermined time or more, the character mapped to the serial number of the specific touch position is skipped.
  • FIG. 1 is a block diagram schematically showing the configuration of a touch screen device for the visually impaired according to the present invention.
  • FIG. 2 is an exemplary view for explaining a method of recognizing an electronic document using a skip navigation method in a touch screen device for the visually impaired according to the present invention.
  • FIG. 3 is a flowchart illustrating an electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired according to the present invention.
  • touch screen device 102 touch input unit
  • FIG. 1 is a block diagram schematically showing the configuration of a touch screen device for the visually impaired according to the present invention
  • FIG. 2 illustrates a method for recognizing an electronic document using a skip navigation method in the touch screen device for the visually impaired according to the present invention. It is an illustration for.
  • the touch screen device 100 for the visually impaired includes a touch input unit 102, a document format converter 104, a touch sensor 106, a character recognizer 107, and a speech synthesis processor 108. ), And a voice output unit 110.
  • the touch input unit 102 has a predetermined number of gratings of the same size disposed adjacent to each other, and each grating has a touch position. Each touch position may be assigned one or more characters included in the document selected by the user.
  • the touch input unit 102 may be set to a touch position without an invalid area according to a predetermined arrangement rule, and the user may touch (touch) and touch (touch) states of the touch input unit 102 using a touch pointer such as a finger. To move documents up, down, left, and right, and release them (non-contact, release).
  • the arrangement rule may be configured in various ways such as an arrangement structure in which a total of 50 touch positions of 10 by 5 are arranged, an arrangement structure in which a total of 50 touch positions of 5 by 10 are arranged, and the like.
  • the touch position of the touch input unit 102 will be described with reference to an arrangement of '10 by 5 'as an example.
  • the touch input unit 102 is divided into a screen section of 10 by 5, which means a partition like a checkerboard, and the scale means 10 columns horizontally and 5 columns vertically.
  • the divided screen partitions mean only a touch range, and the shape of the grid is not actually displayed on the screen. That is, the touch partition of '10 by 5 'has a total of 50 touch positions.
  • the objects displayed on the touch screen in the full touch-type touch screen device 100 are arranged with a predetermined rule in the entire process until performing for one use purpose, and the objects are adjacent to each other by the arrangement. Therefore, the invalid area does not exist by being displayed over the entire screen area.
  • the object means a character.
  • the touch input unit 102 is synchronized with the touch screen output unit. That is, when the user touches / releases the touch screen output unit with a finger, the touch input unit 102 is activated.
  • the document format converting unit 104 converts the format of the document according to the lattice structure of the touch input unit 102, and arranges the characters in the document at the touch positions of the touch input unit 102, respectively. Map and save the number and the corresponding character.
  • the document format conversion unit 104 converts the format of the document selected by the user to correspond to the grid structure of the touch input unit, so that each character in the document is arranged on the grid of the touch input unit.
  • the document format changer 104 displays a character object in a document to be searched at each touch position of the touch input unit 102, and one touch position is assigned a character object of Korean or more than one character.
  • the text object has a blank character object, and the words are divided and displayed.
  • the document format converter 104 converts the page to a page.
  • the function (operation) fills each touch position of the new page.
  • the document format converter 104 fills the remaining empty touch positions with an object of 'empty'.
  • the touch detector 106 determines the position and contact time information of the touch position touched. That is, the touch detector 106 obtains a position of the touched position and transmits the position and contact time information to the character recognition unit 107.
  • the character recognition unit 107 receives position and contact time information from the touch detection unit 106. On the basis of this, the characters mapped to the serial number of the entire touch position in the line or the characters mapped to the serial number of the touched position are recognized. In this case, the character recognition unit 107 determines the serial number of the touch position by using the position of the touch position.
  • the character recognition unit 107 skips the document corresponding to the position according to the up, down, left, and right movements when the up, down, left, and right movements of the touch pointer detected by the touch sensing unit 106 are within a predetermined time. skip).
  • the character recognition unit 107 recognizes a character mapped with the serial number of the specific touch position, and the touch pointer If the specific touch position does not touch for a predetermined time or more, the character mapped to the serial number of the specific touch position is skipped.
  • the character recognition unit 107 may be configured to map the characters mapped to the serial numbers of the entire touch positions in the corresponding line. To be recognized.
  • the character recognition unit 107 starts from the character mapped with the serial number of the corresponding touch position. The remaining characters will be recognized.
  • the predetermined range may be from a first position touch position of each line to a predetermined number of touch positions sequentially.
  • the text recognition unit 107 outputs a voice message or a tone indicating a blank.
  • the text recognition unit 107 may generate a voice message indicating 'no more sentences'. To be printed.
  • the character recognition unit 107 determines whether the next page exists and means 'next page' when the next page exists. A voice message or a beep is outputted, and if a next page does not exist, a voice message or a beep means 'end of document' is output.
  • the character recognition unit 107 sequentially touches touch positions positioned within a predetermined range of each line, while the touch pointer is positioned within a predetermined range of a predetermined line from the last line of the current page.
  • the document format conversion unit 104 requests the document format conversion of the next page, and when the touch pointer touches a touch position located within a predetermined column of the last line.
  • a voice message or a tone indicating 'next page' is output.
  • the predetermined range of cells may range from the first space to the third space.
  • the document format conversion unit 104 converts the format of the document corresponding to the next page according to the document format conversion request from the speech synthesis processing unit 108.
  • the character recognition unit 107 requests the document format conversion unit 104 to convert the format of the document corresponding to the next page. do.
  • the touch screen device 100 determines that the user intends to move to the next page, and automatically generates the next page.
  • the speech synthesis processing unit 108 converts the characters recognized by the text recognition unit 107 into speech data using a text to speech (TTS) engine.
  • TTS text to speech
  • the speech synthesis processor 108 converts the characters mapped to the serial numbers of the entire touch positions in the specific line recognized by the character recognition unit 107 or the characters mapped to the serial numbers of the specific touch positions into voice data. Convert.
  • the voice output unit 110 outputs the voice data converted by the voice synthesis processing unit 108 and refers to a speaker or the like.
  • the touch screen device 100 for the visually impaired according to the present invention may further include a grid structure guide (not shown) for guiding the grid structure of the touch screen by voice when power is turned on.
  • the lattice structure guide part outputs a guide voice of '10 by 5 structure '. Then, the user recognizes the touch area and the size of the screen through the guide voice.
  • the touch screen device 100 as described above refers to a computer, a mobile communication terminal, and the like.
  • the touch position of the touch input unit 102 is configured by a grid of '10 by 5 ', and 50 characters are displayed per page.
  • the area 202 corresponding to the first space touch position to the third space touch position is a designated area.
  • the character recognition unit 107 recognizes the characters mapped to the serial number of the entire touch position on the line. Then, the speech synthesis processing unit 108 converts the characters recognized by the text recognition unit 107 into voice data and outputs them.
  • the character recognition unit 107 is a character mapped to the entire serial number of the touch position of the line with '206', that is, "mounted".
  • the text recognition unit 107 recognizes that the text mapped to '204' is a blank object and the voice output unit Through 110, a voice message or a tone indicating a blank is output.
  • the text recognition unit 107 outputs a voice message indicating 'no more sentences'.
  • the character recognition unit 107 determines whether the next page exists, and if the next page exists, the next page exists. It outputs a voice message or a beep sound. Then, the document format conversion unit 104 causes the next page as shown in (b) to be displayed.
  • the text recognition unit 107 outputs a voice message indicating 'no more sentences'.
  • FIG. 3 is a flowchart illustrating an electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired according to the present invention.
  • the touch screen device converts a format of a document according to a grid structure of a touch input unit, and displays characters in the document at each touch position of the touch input unit while displaying the serial numbers of the touch positions and the corresponding characters.
  • Map and store (S300).
  • the touch screen device outputs a voice to the grid structure of the touch screen when the user turns on the power. For example, when the grid structure is '3 by 4', the touch screen device outputs a guide voice of '3 by 4 structure'. The user recognizes the touch area of the screen and its size through the guide voice.
  • the touch screen device parses the document selected by the user, converts the format of the document according to the grid structure of the touch input unit, and arranges one or more characters in each touch position (grid) of the touch input unit. do.
  • the touch screen device determines the position and contact time information of the touch position (S304).
  • the touch screen device determines whether the position is included in a predetermined designated area (S306).
  • the touch screen device determines whether the contact time is longer than a predetermined predetermined time (S308).
  • the touch screen device recognizes the characters mapped to the serial number of the entire touch position on the line where the touch position is located (S310).
  • the touch screen device converts the recognized characters into voice data and outputs them (S312).
  • the touch screen device skips the corresponding content (S314).
  • step S306 determines whether the contact time is longer than a predetermined time (S316).
  • the touch screen device recognizes the remaining characters of the line from the character mapped with the serial number of the touch position (S318), and the recognized character as voice data
  • the output is converted (S320).
  • step S316 If the determination result in step S316 is not longer than a predetermined time, the touch screen device skips the corresponding content (S322).

Abstract

The present invention relates to a touch screen apparatus for the blind, and to a method for recognizing electronic documents using a skip navigation method therefor. The touch screen comprises: a touch input unit having a certain number of lattices of the same size disposed adjacent to each other, wherein each lattice is formed as a touch position; a document format conversion unit for converting a format of a document according to a lattice structure of the touch input unit and disposing characters of the document at the touch position of the touch input, and mapping and then storing the characters with a serial number of each touch position; a touch-sensing unit for determining a touch position and a touch time when a touch by a user is sensed in the touch position; a character recognition unit recognizing all of the serial numbers and mapped characters of the touch position in a certain row or recognizing characters mapped to the serial numbers of the touch positions on the basis of the touch position and touch time provided by the touch-sensing unit; an audio synthesis processing unit converting the characters recognized by the character recognition unit into audio data using a text to speech (TTS) engine; and an audio output unit outputting the audio data converted by the audio synthesis processing unit. Therefore, according to the present invention, the blind can easily obtain information by searching for a document in various forms such as word or sentence units using the touch screen apparatus.

Description

시각 장애인을 위한 터치스크린 장치 및 그 장치에서 스킵 네비게이션 방식을 이용한 전자문서 인식 방법Touch screen device for the visually impaired and an electronic document recognition method using skip navigation method in the device
본 발명은 시각 장애인을 위한 터치스크린 장치 및 그 장치에서 스킵 네비게이션 방식을 이용한 전자문서 인식 방법에 관한 것으로, 더욱 상세하게는 터치 입력부의 격자 구조에 따라 문서의 포맷을 변환하고, 상기 문서내의 문자를 상기 터치 입력부의 터치포지션에 각각 배치하여 디스플레이하면서 각 터치포지션의 일련번호와 해당 문자를 매핑하여 저장한 후, 사용자에 의한 터치포지션 접촉이 감지된 경우 상기 접촉된 터치포지션의 위치 및 접촉시간 정보를 근거로 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들 또는 상기 접촉된 터치포지션의 일련번호와 매핑된 문자를 문자 음성 변환(TTS) 엔진을 이용하여 음성 데이터로 변환하여 출력하는 시각 장애인을 위한 터치스크린 장치 및 그 장치에서 스킵 네비게이션 방식을 이용한 전자문서 인식 방법에 관한 것이다. The present invention relates to a touch screen device for the visually impaired, and a method for recognizing an electronic document using a skip navigation method in the device, and more particularly, converts a document format according to a grid structure of a touch input unit, After placing and displaying each number in the touch position of the touch input unit while mapping and storing the serial number and the corresponding letter of each touch position, and when the touch position contact by the user is detected, the position and contact time information of the touch position touched are displayed. The visually impaired person converts and outputs the characters mapped to the serial number of the entire touch position on the line or the characters mapped to the serial number of the touched position by using a text-to-speech engine. Touch screen device for mobile and using skip navigation method in the device It relates how the document recognition.
풀터치 방식의 터치스크린 장치는 키보드 입력 방식 대신 화면에 나타난 문자나 특정 위치를 터치하는 터치스크린 입력 방식을 채용한 장치로서, 현재 컴퓨터 기기, 이동통신 단말기, 키오스크 단말기, 카AV시스템 등 다양한 분야에서 많이 활용되고 있다.The full touch type touch screen device adopts a touch screen input method that touches a character or a specific location on the screen instead of a keyboard input method, and is currently used in various fields such as computer devices, mobile communication terminals, kiosk terminals, and car AV systems. It is used a lot.
또한 현금 인출을 위한 ATM(Automated Teller Machine) 기기, 공공 장소의 안내용 컴퓨터 기기 등은 터치스크린 입력 방식을 채용 하는 경우가 대부분이다.In addition, ATM (Automated Teller Machine) devices for cash withdrawal, computer equipment for guidance in public places, etc. are mostly adopting the touch screen input method.
시각 장애인이 풀터치 방식으로 접근이 가능한 것은 아이폰의 'VOICE OVER'가 있다. 이러한 풀터치 방식의 터치스크린 장치는 스크린에 표시된 객체를 손가락으로 포커스 하였을 때 음성으로 출력하는 것으로서, 객체의 위치 및 방향을 예측할 수 없는 시각 장애인에게 무작위적 조작을 통해 우연한 동작을 요구한다.One of the most accessible ways for the visually impaired is the iPhone's VOICE OVER. The full touch type touch screen device outputs a voice when an object displayed on the screen is focused with a finger, and requires an accidental operation through a random operation to a visually impaired person who cannot predict the position and direction of the object.
그러나, 상기와 같은 풀터치 방식의 터치스크린 장치는 문서를 음성으로 출력할 때, 단어 또는 문장 단위로 이동하며 읽을 수 없는 단점이 있다.However, the full touch type touch screen device as described above has a disadvantage in that it cannot be read while moving in units of words or sentences when outputting a document by voice.
또한, 터치스크린 장치의 터치스크린에는 자간, 줄간 사이 등 무효 영역이 있어 안정된 터치가 어려운 문제가 있다. In addition, since the touch screen of the touch screen device has an invalid area such as space between lines and space between lines, stable touch is difficult.
본 발명은 상기한 문제점을 해결하기 위하여 안출한 것으로, 본 발명의 목적은 시각 장애인이 터치스크린 장치를 사용함에 있어서, 문서를 단어 또는 문장 단위 등의 다양한 형식으로 탐색하여 정보 습득을 용이하게 하는 시각 장애인을 위한 터치스크린 장치 및 그 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법을 제공하는데 있다. The present invention has been made to solve the above problems, an object of the present invention is to visually facilitate the acquisition of information by searching the document in a variety of formats, such as words or sentences, when the visually impaired person using the touch screen device The present invention provides a touch screen device for a disabled person and an electronic document recognition method using a skip navigation method.
상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 크기가 같은 일정 개수의 격자가 서로 인접하게 배치되고, 각 격자는 터치포지션으로 형성된 터치 입력부, 상기 터치 입력부의 격자 구조에 따라 문서의 포맷을 변환하고, 상기 문서내의 문자를 상기 터치 입력부의 터치포지션에 각각 배치하면서 각 터치포지션의 일련번호와 해당 문자를 매핑하여 저장하는 문서 포맷 변환부, 사용자에 의한 터치포지션 접촉이 감지된 경우, 상기 접촉된 터치포지션의 위치 및 접촉시간 정보를 판단하는 접촉 감지부, 상기 접촉 감지부로부터의 위치 및 접촉시간 정보를 근거로, 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들 또는 상기 접촉된 터치포지션의 일련번호와 매핑된 문자를 인식하는 문자 인식부, 상기 문자 인식부에서 인식된 문자를 문자 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하는 음성 합성 처리부, 상기 음성 합성 처리부에서 변환된 음성 데이터를 출력하는 음성 출력부를 포함하는 시각 장애인을 위한 터치스크린 장치가 제공된다. According to an aspect of the present invention to achieve the above object, a certain number of grids of the same size are arranged adjacent to each other, each grid is a touch input formed of a touch position, the format of the document according to the grid structure of the touch input A document format converting unit for converting and storing the characters in the document in the touch positions of the touch input unit and mapping and storing the serial numbers of the respective touch positions and the corresponding characters, when the touch position contact by the user is detected. A touch sensor for determining the position and touch time information of the touch position, and the position and touch time information from the touch sensor. On the basis of this, a character recognition unit for recognizing characters mapped to the serial number of the entire touch position in the line or the character mapped with the serial number of the touched position, a text-to-speech character recognized by the character recognition unit Provided is a touch screen device for a visually impaired person, including a speech synthesis processor for converting speech data into a text data using a Text to Speech (TTS) engine and a speech output unit for outputting speech data converted from the speech synthesis processor.
또한, 상기 터치스크린 장치는 전원 온(on)의 수행 시, 상기 터치 입력부의 격자 구조를 음성으로 안내하는 격자 구조 안내부를 더 포함할 수 있다.The touch screen device may further include a lattice structure guide that guides the lattice structure of the touch input unit by voice when power is turned on.
상기 터치 입력부는 풀터치 방식의 터치 스크린일 수 있다. The touch input unit may be a full touch type touch screen.
상기 문서 포맷 변환부는 상기 사용자에 의해 선택된 문서의 포맷을 상기 터치 입력부의 격자 구조에 상응하도록 변환하고, 상기 문서내의 각 문자를 상기 터치 입력부의 터치포지션에 각각 배치한다. The document format conversion unit converts the format of the document selected by the user to correspond to the grid structure of the touch input unit, and arranges each character in the document in the touch position of the touch input unit.
상기 문자 인식부는 상기 터치포지션의 위치를 이용하여 터치포지션의 일련번호를 판단한다. The character recognition unit determines a serial number of the touch position by using the position of the touch position.
상기 문자 인식부는 상기 접촉 감지부에서 감지된 터치포인터의 상하좌우 움직임이 미리 정해진 일정시간이내에서 이루어진 경우, 상기 상하좌우 움직임에 따른 위치에 해당하는 문서를 스킵(skip)한다. When the up, down, left, and right movements of the touch pointer detected by the touch sensing unit are within a predetermined time, the character recognition unit skips a document corresponding to the position according to the up, down, left, and right movements.
또한, 상기 문자 인식부는 터치포인터가 상하좌우로 움직이면서 특정 터치포지션에 미리 정해진 일정시간이상 접촉된 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 인식하고, 상기 터치포인터가 특정 터치포지션에 일정시간이상 접촉하지 않은 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 스킵한다.The character recognition unit recognizes a character mapped with a serial number of the specific touch position when the touch pointer moves up, down, left, and right for a predetermined time or more, and the touch pointer is touched with a specific touch position for a predetermined time. If no contact is made, the character mapped with the serial number of the specific touch position is skipped.
또한, 상기 문자 인식부는 상기 위치가 미리 정해진 범위내에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들을 인식하고, 상기 위치가 상기 범위외에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 터치포지션의 일련번호와 매핑된 문자부터 그 줄의 나머지 문자를 인식한다. 여기서, 상기 미리 정해진 범위는 각 줄의 첫번째칸 터치포지션부터 순차적으로 일정 개수의 터치포지션까지일 수 있다.In addition, the character recognition unit recognizes the characters mapped to the serial number of the entire touch position on the line when the location is within a predetermined range and the contact time is more than a predetermined time, the location is outside the range and the If the contact time is longer than a predetermined time, the remaining characters of the line are recognized from the character mapped with the serial number of the corresponding touch position. Here, the predetermined range may be from a first position touch position of each line to a predetermined number of touch positions sequentially.
또한, 상기 문자 인식부는 사용자에 의해 접촉된 터치포지션이 빈칸 문자 객체이고 접촉 시간이 미리 정해진 일정 시간 이상인 경우, 빈칸을 의미하는 음성 메시지 또는 신호음이 출려되도록 한다. In addition, when the touch position touched by the user is a blank text object and the contact time is more than a predetermined time, a text message or a tone indicating a blank is output.
또한, 상기 문자 인식부는 터치포인터를 상하좌우로 움직이는 중에 나머지 구간이 빈칸으로 채워진 터지포지션에 미리 정해진 일정시간이상 접촉된 경우, '더이상 문장이 없음'을 의미하는 음성 메시지가 출력되도록 한다. In addition, the text recognition unit outputs a voice message indicating that there are no more sentences when the touch pointer is moved up, down, left, and right while contacting a touch position filled with a blank for a predetermined time or more.
또한, 상기 문자 인식부는 터치포인터를 상하좌우로 움직이는 중에 현재 페이지의 마지막줄 접촉이 감지되면 다음 페이지의 존재 여부를 판단하고, 다음 페이지가 존재하는 경우 '다음 페이지'를 의미하는 음성 메시지 또는 신호음이 출력되도록 하고, 다음 페이지가 존재하지 않은 경우 '문서의 끝'을 의미하는 음성 메시지 또는 신호음이 출력되도록 한다. In addition, the character recognition unit determines whether the next page exists when the last line contact of the current page is detected while moving the touch pointer up, down, left, and right, and if the next page exists, a voice message or a tone indicating 'next page' If the next page does not exist, a voice message or a tone indicating 'end of document' is output.
또한, 상기 문자 인식부는 상기 터치포인터가 각 줄의 일정 칸 범위내에 위치하는 터치포지션을 순차적으로 접촉하면서, 현재 페이지의 마지막줄로부터 상위로 일정 줄의 일정 칸 범위내에 위치하는 터치포지션에 미리 정해진 일정 시간 이상을 접촉한 경우, 상기 문서 포맷 변환부에 다음 페이지의 문서 포맷 변환을 요청하고, 상기 터치포인터가 마지막줄의 일정 칸 범위내에 위치하는 터치포지션을 접촉한 경우, '다음 페이지'를 의미하는 음성 메시지 또는 신호음이 출력되도록 한다. In addition, the character recognition unit is a predetermined predetermined position in the touch position positioned in the predetermined range of the predetermined line from the last line of the current page, while the touch pointer sequentially touches the touch position located within the predetermined range of each line. When contacting for more than a time, the document format conversion unit requests a document format conversion of a next page, and when the touch pointer touches a touch position located within a predetermined range of the last line, it means 'next page'. Allow voice messages or tones to be output.
이때, 상기 문서 포맷 변환부는 상기 문자 인식부로부터의 문서 포맷 변환 요청에 따라, 다음 페이지에 해당하는 문서의 포맷을 변환한다. In this case, the document format conversion unit converts the format of the document corresponding to the next page according to the document format conversion request from the character recognition unit.
상기 터치 입력부의 격자는 미리 정해진 일정 규칙에 따라 일관되게 전개되고, 각 격자가 인접하여 무효 영역이 존재하지 않는다. The grids of the touch input unit are consistently developed according to a predetermined rule, and each grid is adjacent to each other so that no invalid area exists.
본 발명의 다른 측면에 따르면, 시각 장애인을 위한 터치스크린 장치를 이용하여 문서를 인식하는 방법에 있어서, (a)터치 입력부의 격자 구조에 따라 문서의 포맷을 변환하고, 상기 문서내의 문자를 상기 터치 입력부의 터치포지션에 각각 배치하여 디스플레이하면서 각 터치포지션의 일련번호와 해당 문자를 매핑하여 저장하는 단계, (b)사용자에 의한 터치포지션 접촉이 감지되면, 상기 접촉된 터치포지션의 위치 및 접촉시간 정보를 판단하는 단계, (c)상기 (b)단계에서 판단된 위치 및 접촉시간 정보를 근거로, 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들 또는 상기 접촉된 터치포지션의 일련번호와 매핑된 문자를 인식하는 단계, (d)상기 인식된 문자를 문자 음성 변환(TTS) 엔진을 이용하여 음성 데이터로 변환하는 단계, (e)상기 변환된 음성 데이터를 출력하는 단계를 포함하는 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법이 제공된다. According to another aspect of the present invention, in a method for recognizing a document using a touch screen device for the visually impaired, (a) converting the format of the document according to the grid structure of the touch input unit, and touches the characters in the document Mapping and storing the serial number of each touch position and the corresponding letter while placing and displaying each touch position in the input unit; and (b) when touch position contact by the user is detected, position and contact time information of the touch position touched. To (C) determining the location and contact time information determined in step (b). On the basis of the step, recognizing the characters mapped to the serial number of the entire touch position in the line or the character mapped to the serial number of the touched position, (d) text-to-speech the recognized character There is provided an electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired, which includes converting into voice data using an engine and (e) outputting the converted voice data.
상기 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법은 상기 (a)단계 이전에, 파워 온이 수행되면, 터치스크린의 격자 구조를 음성으로 출력하는 단계를 더 포함할 수 있다. The electronic document recognition method using the skip navigation method in the touch screen device for the visually impaired may further include outputting a grid structure of the touch screen as a voice when power-on is performed before step (a). .
상기 (c)단계는 상기 위치가 미리 정해진 범위의 지정 영역에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들을 인식하고, 상기 위치가 상기 지정 영역외에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 터치포지션의 일련번호와 매핑된 문자부터 그 줄의 나머지 문자를 인식한다. In the step (c), if the location is in a predetermined range of a predetermined range and the contact time is more than a predetermined time, the characters mapped to the serial number of the entire touch position on the corresponding line are recognized, and the location is specified. If the contact time is out of the area and the contact time is more than a predetermined time, the remaining characters of the line are recognized from the character mapped with the serial number of the corresponding touch position.
또한, 상기 (c)단계는 상기 사용자에 의한 터치포인터가 상하좌우로 움직이면서 특정 터치포지션에 미리 정해진 일정시간이상 접촉된 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 인식하고, 상기 터치포인터가 특정 터치포지션에 일정시간이상 접촉하지 않은 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 스킵한다. In addition, in the step (c), when the touch pointer by the user moves up, down, left and right and contacts a specific touch position for a predetermined time or more, a character mapped with the serial number of the specific touch position is recognized, and the touch pointer is If a specific touch position has not been touched for a predetermined time or more, the character mapped to the serial number of the specific touch position is skipped.
상술한 바와 같이 본 발명에 따르면, 시각 장애인이 터치스크린 장치를 사용함에 있어서, 문서를 단어 또는 문장 단위 등의 다양한 형식으로 탐색하여 정보 습득을 용이하게 할 수 있다. As described above, according to the present invention, when the visually impaired person uses the touch screen device, information can be easily acquired by searching the document in various formats such as word or sentence unit.
또한, 풀터치 방식을 사용하는 모든 정보 처리 장치에 시각 장애인의 사용성 및 접근성을 확보할 수 있고, 별도의 물리적 부가 장치를 추가하지 않고 풀터치의 용법을 그대로 활용함으로써 시각 장애인의 사용성 확보를 위한 추가 비용이 절감되는 효과가 있다. In addition, it is possible to secure the usability and accessibility of the visually impaired to all information processing devices that use the full touch method, and to add us to secure the usability of the visually impaired by utilizing the full touch usage without additional physical additional devices. The cost is reduced.
도 1은 본 발명에 따른 시각 장애인을 위한 터치스크린 장치의 구성을 개략적으로 나타낸 블록도이다.1 is a block diagram schematically showing the configuration of a touch screen device for the visually impaired according to the present invention.
도 2는 본 발명에 따른 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법을 설명하기 위한 예시도이다.2 is an exemplary view for explaining a method of recognizing an electronic document using a skip navigation method in a touch screen device for the visually impaired according to the present invention.
도 3은 본 발명에 따른 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법을 나타낸 흐름도이다.3 is a flowchart illustrating an electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired according to the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>
100 : 터치스크린 장치 102 : 터치 입력부100: touch screen device 102: touch input unit
104 : 문서 포맷 변환부 106 : 접촉 감지부104: document format conversion unit 106: contact detection unit
107 : 문자 인식부 108 : 음성 합성 처리부 107: character recognition unit 108: speech synthesis processing unit
110 : 음성 출력부110: audio output unit
도 1은 본 발명에 따른 시각 장애인을 위한 터치스크린 장치의 구성을 개략적으로 나타낸 블럭도, 도 2는 본 발명에 따른 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법을 설명하기 위한 예시도이다. 1 is a block diagram schematically showing the configuration of a touch screen device for the visually impaired according to the present invention, and FIG. 2 illustrates a method for recognizing an electronic document using a skip navigation method in the touch screen device for the visually impaired according to the present invention. It is an illustration for.
도 1을 참조하면, 시각 장애인을 위한 터치스크린 장치(100)는 터치 입력부(102), 문서 포맷 변환부(104), 접촉 감지부(106), 문자 인식부(107), 음성 합성 처리부(108), 음성 출력부(110)를 포함한다. Referring to FIG. 1, the touch screen device 100 for the visually impaired includes a touch input unit 102, a document format converter 104, a touch sensor 106, a character recognizer 107, and a speech synthesis processor 108. ), And a voice output unit 110.
상기 터치 입력부(102)는 크기가 같은 일정 개수의 격자가 서로 인접하게 배치되고, 각 격자는 터치포지션으로 형성되어 있다. 각 터치포지션에는 사용자에 의해 선택된 문서에 포함된 문자가 하나 이상 할당될 수 있다. The touch input unit 102 has a predetermined number of gratings of the same size disposed adjacent to each other, and each grating has a touch position. Each touch position may be assigned one or more characters included in the document selected by the user.
또한, 상기 터치 입력부(102)는 일정한 배열 규칙에 따라 무효영역 없이 터치포지션이 설정되고, 사용자는 손가락 등의 터치포인터를 이용하여 상기 터치 입력부(102)에 접촉(터치), 접촉(터치) 상태에서 상하좌우로 이동, 접촉해제(비접촉, 손떼기) 등의 방식으로 문서를 인식하도록 한다. 여기서, 상기 배열 규칙은 10 by 5의 총 50개의 터치포지션이 배치된 배열 구조, 5 by 10의 총 50개의 터치포지션이 배치된 배열 구조 등으로 다양하게 구성할 수 있다. In addition, the touch input unit 102 may be set to a touch position without an invalid area according to a predetermined arrangement rule, and the user may touch (touch) and touch (touch) states of the touch input unit 102 using a touch pointer such as a finger. To move documents up, down, left, and right, and release them (non-contact, release). The arrangement rule may be configured in various ways such as an arrangement structure in which a total of 50 touch positions of 10 by 5 are arranged, an arrangement structure in which a total of 50 touch positions of 5 by 10 are arranged, and the like.
상기 터치 입력부(102)의 터치포지션에 대해 '10 by 5'의 배열을 예로 하여 설명하기로 한다. 상기 터치입력부(102)는 '10 by 5'의 화면 구획으로 분할되고, 이는 마치 바둑판 모양과 같은 구획을 의미하며, 규모는 가로로 10칸, 세로로 5칸을 의미한다. 이때, 상기 분할된 화면 구획은 터치 범위를 의미할 뿐 실제로 화면에 격자의 모양이 표시되는 것은 아니다. 즉, 이는 '10 by 5'의 터치 구획으로 총 50개의 터치 포지션이 존재한다.The touch position of the touch input unit 102 will be described with reference to an arrangement of '10 by 5 'as an example. The touch input unit 102 is divided into a screen section of 10 by 5, which means a partition like a checkerboard, and the scale means 10 columns horizontally and 5 columns vertically. In this case, the divided screen partitions mean only a touch range, and the shape of the grid is not actually displayed on the screen. That is, the touch partition of '10 by 5 'has a total of 50 touch positions.
상기와 같이 풀터치 방식의 터치스크린 장치(100)에서 터치 스크린에 표시되는 객체는 하나의 사용 목적으로 수행하기까지의 전 과정에서 일정한 규칙을 가지고 배열되고, 상기 배열에 의해 객체와 객체가 인접하고, 스크린 전 영역에 걸쳐 표시됨으로써 무효 영역이 존재하지 않게 된다. 여기서, 상기 객체는 문자를 의미한다. As described above, the objects displayed on the touch screen in the full touch-type touch screen device 100 are arranged with a predetermined rule in the entire process until performing for one use purpose, and the objects are adjacent to each other by the arrangement. Therefore, the invalid area does not exist by being displayed over the entire screen area. Here, the object means a character.
또한, 상기 터치 입력부(102)는 터치 스크린 출력부와 동기화된다. 즉, 터치스크린 출력부에 사용자가 손가락으로 접촉/접촉 해제를 하면 터치 입력부(102)가 활성화된다.In addition, the touch input unit 102 is synchronized with the touch screen output unit. That is, when the user touches / releases the touch screen output unit with a finger, the touch input unit 102 is activated.
상기 문서 포맷 변환부(104)는 상기 터치 입력부(102)의 격자 구조에 따라 문서의 포맷을 변환하여, 상기 문서내의 문자를 상기 터치 입력부(102)의 터치포지션에 각각 배치하면서 각 터치포지션의 일련번호와 해당 문자를 매핑하여 저장한다. The document format converting unit 104 converts the format of the document according to the lattice structure of the touch input unit 102, and arranges the characters in the document at the touch positions of the touch input unit 102, respectively. Map and save the number and the corresponding character.
즉, 상기 문서 포맷 변환부(104)는 사용자에 의해 선택된 문서의 포맷을 상기 터치 입력부의 격자 구조에 상응하도록 변환하여, 상기 문서내의 각 문자가 상기 터치 입력부의 격자에 각각 배치되도록 한다. That is, the document format conversion unit 104 converts the format of the document selected by the user to correspond to the grid structure of the touch input unit, so that each character in the document is arranged on the grid of the touch input unit.
다시 말하면, 상기 문서 포맷 변화부(104)는 상기 터치 입력부(102)의 각 터치 포지션에 탐색할 문서내의 문자 객체를 표시하고, 하나의 터지포지션에는 한글자 또는 한글자 이상의 문자 객체가 할당된다.In other words, the document format changer 104 displays a character object in a document to be searched at each touch position of the touch input unit 102, and one touch position is assigned a character object of Korean or more than one character.
이때, 문자 객체에는 빈문자 객체가 있어서 단어를 구분하여 표시하고, 하나의 페이지(한 화면)로 구성된 문자 객체의 집합에서 그 문자수가 초과하면, 상기 문서 포맷 변환부(104)는 '페이지 전환' 기능(조작)을 통해 새로운 페이지의 각 터치포지션을 채운다.In this case, the text object has a blank character object, and the words are divided and displayed. When the number of characters is exceeded in the set of the character object composed of one page (one screen), the document format converter 104 converts the page to a page. The function (operation) fills each touch position of the new page.
또한, 하나의 페이지로 구성된 문자 객체의 집합에서 그 문자수가 부족하면, 상기 문서 포맷 변환부(104)는 나머지 빈 터치 포지션은 '비어있음' 이라는 객체로 채운다.In addition, if the number of characters is insufficient in the set of character objects composed of one page, the document format converter 104 fills the remaining empty touch positions with an object of 'empty'.
상기 접촉 감지부(106)는 사용자에 의한 터치포지션 접촉이 감지된 경우, 상기 접촉된 터치포지션의 위치 및 접촉시간 정보를 판단한다. 즉, 상기 접촉 감지부(106)는 상기 접촉된 터치포지션에 대한 위치를 구하고, 상기 위치와 접촉 시간 정보를 상기 문자 인식부(107)로 전송한다.When the touch position contact by the user is detected, the touch detector 106 determines the position and contact time information of the touch position touched. That is, the touch detector 106 obtains a position of the touched position and transmits the position and contact time information to the character recognition unit 107.
상기 문자 인식부(107)는 상기 접촉 감지부(106)로부터의 위치 및 접촉시간 정보를 근거로, 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들 또는 상기 접촉된 터치포지션의 일련번호와 매핑된 문자를 인식한다. 이때, 상기 문자 인식부(107)는 상기 터치포지션의 위치를 이용하여 터치포지션의 일련번호를 판단하게 된다. The character recognition unit 107 receives position and contact time information from the touch detection unit 106. On the basis of this, the characters mapped to the serial number of the entire touch position in the line or the characters mapped to the serial number of the touched position are recognized. In this case, the character recognition unit 107 determines the serial number of the touch position by using the position of the touch position.
또한, 상기 문자 인식부(107)는 상기 접촉 감지부(106)에서 감지된 터치포인터의 상하좌우 움직임이 미리 정해진 일정시간이내에서 이루어진 경우, 상기 상하좌우 움직임에 따른 위치에 해당하는 문서를 스킵(skip)한다. In addition, the character recognition unit 107 skips the document corresponding to the position according to the up, down, left, and right movements when the up, down, left, and right movements of the touch pointer detected by the touch sensing unit 106 are within a predetermined time. skip).
즉, 사용자가 터치포인터를 상하좌우로 움직이면서 특정 터치포지션에 미리 정해진 일정시간이상 접촉한 경우, 상기 문자 인식부(107)는 상기 특정 터치포지션의 일련번호와 매핑된 문자를 인식하고, 상기 터치포인터가 특정 터치포지션에 일정시간이상 접촉하지 않은 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 스킵한다. That is, when the user moves the touch pointer up, down, left, or right, and contacts a specific touch position for a predetermined time or more, the character recognition unit 107 recognizes a character mapped with the serial number of the specific touch position, and the touch pointer If the specific touch position does not touch for a predetermined time or more, the character mapped to the serial number of the specific touch position is skipped.
또한, 상기 문자 인식부(107)는 상기 접촉 감지부(106)로부터의 위치가 미리 정해진 범위내에 있으며 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들을 인식하게 된다. In addition, when the position from the touch sensor 106 is within a predetermined range and the contact time is longer than a predetermined time, the character recognition unit 107 may be configured to map the characters mapped to the serial numbers of the entire touch positions in the corresponding line. To be recognized.
또한, 상기 문자 인식부(107)는 상기 접촉 감지부(106)로부터의 위치가 상기 범위외에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우, 해당 터치포지션의 일련번호와 매핑된 문자부터 그 줄의 나머지 문자를 인식하게 된다. In addition, when the position from the touch sensor 106 is out of the range and the contact time is longer than a predetermined time, the character recognition unit 107 starts from the character mapped with the serial number of the corresponding touch position. The remaining characters will be recognized.
여기서, 상기 미리 정해진 범위는 각 줄의 첫번째칸 터치포지션부터 순차적으로 일정 개수의 터치포지션까지일 수 있다. Here, the predetermined range may be from a first position touch position of each line to a predetermined number of touch positions sequentially.
또한, 상기 문자 인식부(107)는 사용자에 의해 접촉된 터치포지션이 빈칸 문자 객체이고 접촉 시간이 미리 정해진 일정 시간 이상인 경우, 빈칸을 의미하는 음성 메시지 또는 신호음을 출력하도록 한다. In addition, when the touch position contacted by the user is a blank text object and the contact time is more than a predetermined time, the text recognition unit 107 outputs a voice message or a tone indicating a blank.
또한, 상기 문자 인식부(107)는 사용자가 터치포인터를 상하좌우로 움직이는 중에 나머지 구간이 빈칸으로 채워진 터지포지션에 미리 정해진 일정시간이상 접촉한 경우, '더이상 문장이 없음'을 의미하는 음성 메시지를 출력되도록 한다.In addition, when the user moves the touch pointer up, down, left, or right while contacting the touch position filled with a blank for a predetermined time or more, the text recognition unit 107 may generate a voice message indicating 'no more sentences'. To be printed.
또한, 상기 사용자가 터치포인터를 상하좌우로 움직이는 중에 현재 페이지의 마지막줄에 접촉하면, 상기 문자 인식부(107)는 다음 페이지의 존재 여부를 판단하여 다음 페이지가 존재하는 경우 '다음 페이지'를 의미하는 음성 메시지 또는 신호음이 출력되도록 하고, 다음 페이지가 존재하지 않은 경우 '문서의 끝'을 의미하는 음성 메시지 또는 신호음이 출력되도록 한다. In addition, when the user touches the last line of the current page while moving the touch pointer up, down, left, or right, the character recognition unit 107 determines whether the next page exists and means 'next page' when the next page exists. A voice message or a beep is outputted, and if a next page does not exist, a voice message or a beep means 'end of document' is output.
또한, 상기 문자 인식부(107)는 상기 터치포인터가 각 줄의 일정 칸 범위내에 위치하는 터치포지션을 순차적으로 접촉하면서, 현재 페이지의 마지막줄로부터 상위로 일정 줄의 일정 칸 범위내에 위치하는 터치포지션에 미리 정해진 일정 시간 이상을 접촉한 경우, 상기 문서 포맷 변환부(104)에 다음 페이지의 문서 포맷 변환을 요청하고, 상기 터치포인터가 마지막줄의 일정 칸 범위내에 위치하는 터치포지션을 접촉한 경우, '다음 페이지'를 의미하는 음성 메시지 또는 신호음이 출력되도록 한다. 여기서, 상기 일정 칸 범위는 첫번째칸부터 세번째칸의 범위일 수 있다.Also, the character recognition unit 107 sequentially touches touch positions positioned within a predetermined range of each line, while the touch pointer is positioned within a predetermined range of a predetermined line from the last line of the current page. In case of contacting the user for more than a predetermined time, the document format conversion unit 104 requests the document format conversion of the next page, and when the touch pointer touches a touch position located within a predetermined column of the last line. A voice message or a tone indicating 'next page' is output. Here, the predetermined range of cells may range from the first space to the third space.
이때, 상기 문서 포맷 변환부(104)는 상기 음성 합성 처리부(108)로부터의 문서 포맷 변환 요청에 따라, 다음 페이지에 해당하는 문서의 포맷을 변환한다.In this case, the document format conversion unit 104 converts the format of the document corresponding to the next page according to the document format conversion request from the speech synthesis processing unit 108.
즉, 상기 터치포인터가 현재 페이지의 마지막줄로부터 세번째 이전 줄에서 차례로 세번째줄, 두번째줄, 마지막째 줄을 접촉한 상태로 경유하면 '다음 페이지'라는 음성 메시지나 신호음이 출력되고 이어서 자동으로 다음 페이지에 문자 객체들로 채워진다. That is, when the touch pointer is in contact with the third line, the second line, and the last line in the third previous line from the last line of the current page, a voice message or a beep sound of 'next page' is output, and then the next page automatically. Is filled with character objects.
예를 들어, 1페이지를 10줄 단위로 하는 곳에서 8번줄, 9번줄, 10번줄을 순서대로 접촉하는 경우에 대해 설명하기로 한다. For example, a description will be given of a case where lines 1, 10, and 10 are touched in order in which page 1 is in units of 10 lines.
상기 터치포인터가 8번째줄의 첫번째 칸을 미리 정해진 일정 시간 이상을 접촉한 경우, 상기 문자 인식부(107)는 상기 문서 포맷 변환부(104)에 다음 페이지에 해당하는 문서의 포맷을 변환하도록 요청한다. When the touch pointer touches the first column of the eighth line for a predetermined time or more, the character recognition unit 107 requests the document format conversion unit 104 to convert the format of the document corresponding to the next page. do.
이는 사용자가 8번, 9번, 10번줄을 빠짐없이 차례로 경유했다면, 터치스크린 장치(100)는 상기 사용자가 다음 페이지로 이동할 의도를 가지고 있다고 판단하여, 자동으로 다음 페이지를 생성하도록 하는 것이다.This means that if the user passes through lines 8, 9, and 10 in sequence, the touch screen device 100 determines that the user intends to move to the next page, and automatically generates the next page.
상기 음성 합성 처리부(108)는 상기 문자 인식부(107)에서 인식된 문자를 문자 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환한다. The speech synthesis processing unit 108 converts the characters recognized by the text recognition unit 107 into speech data using a text to speech (TTS) engine.
즉, 상기 음성 합성 처리부(108)는 상기 문자 인식부(107)에서 인식된 특정 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들 또는 특정 터치포지션의 일련번호와 매핑된 문자를 음성 데이터로 변환한다. That is, the speech synthesis processor 108 converts the characters mapped to the serial numbers of the entire touch positions in the specific line recognized by the character recognition unit 107 or the characters mapped to the serial numbers of the specific touch positions into voice data. Convert.
상기 음성 출력부(110)는 상기 음성 합성 처리부(108)에서 변환된 음성 데이터를 출력하는 것으로서, 스피커 등을 말한다. The voice output unit 110 outputs the voice data converted by the voice synthesis processing unit 108 and refers to a speaker or the like.
본 발명에 따른 시각 장애인을 위한 터치스크린 장치(100)는 전원 온(on)의 수행 시, 터치스크린의 격자 구조를 음성으로 안내하는 격자 구조 안내부(미도시)를 더 포함할 수 있다. The touch screen device 100 for the visually impaired according to the present invention may further include a grid structure guide (not shown) for guiding the grid structure of the touch screen by voice when power is turned on.
즉, 상기 격자 구조 안내부는 격자구조가 10 by 5인 경우 '10 by 5 구조'라는 안내 음성을 출력한다. 그러면, 사용자는 상기 안내 음성을 통해 스크린의 터치 영역과 그 규모를 인식하게 된다.That is, when the lattice structure is 10 by 5, the lattice structure guide part outputs a guide voice of '10 by 5 structure '. Then, the user recognizes the touch area and the size of the screen through the guide voice.
상기와 같은 터치 스크린 장치(100)는 컴퓨터, 이동통신 단말기 등을 말한다. The touch screen device 100 as described above refers to a computer, a mobile communication terminal, and the like.
상기와 같이 구성된 터치스크린 장치(100)를 이용하여 문서를 인식하는 방법에 대하여 도 2를 예를 들어 설명하기로 한다.A method of recognizing a document using the touch screen device 100 configured as described above will be described with reference to FIG. 2.
도 2를 참조하면, 터치 입력부(102)의 터치포지션이 '10 by 5'의 격자로 구성되어, 한 페이지당 50개의 문자가 디스플레이된다.Referring to FIG. 2, the touch position of the touch input unit 102 is configured by a grid of '10 by 5 ', and 50 characters are displayed per page.
각 줄에 대해 첫번째칸 터치포지션부터 세 번째 칸 터치포지션에 해당하는 영역(202)은 지정 영역으로, 사용자가 터치포인터를 이용하여 상기 지정 영역(202)내의 터치포지션을 접촉하면, 상기 문자 인식부(107)는 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들을 인식하게 된다. 그러면, 상기 음성 합성 처리부(108)는 상기 문자 인식부(107)에서 인식된 문자들을 음성 데이터로 변환하여 출력되도록 한다. For each line, the area 202 corresponding to the first space touch position to the third space touch position is a designated area. When the user touches a touch position in the designated area 202 using a touch pointer, the character recognition unit 107 recognizes the characters mapped to the serial number of the entire touch position on the line. Then, the speech synthesis processing unit 108 converts the characters recognized by the text recognition unit 107 into voice data and outputs them.
예를 들어, 상기 사용자가 '206'의 터치포지션을 일정시간 이상 접촉하면, 상기 문자 인식부(107)는 '206'이 있는 줄의 터치포지션 전체의 일련번호와 매핑된 문자들 즉, "장착한 화면임"을 인식하게 된다. For example, when the user touches the touch position of '206' for a predetermined time or more, the character recognition unit 107 is a character mapped to the entire serial number of the touch position of the line with '206', that is, "mounted". One screen ".
또한, 사용자가 '204'의 터치포지션을 접촉한 상태로 미리 정해진 일정 시간이상을 경과하면, 상기 문자 인식부(107)는 '204'와 매핑된 문자가 빈칸 객체라는 것을 인식하여 상기 음성출력부(110)를 통해 빈칸을 의미하는 음성 메시지 또는 신호음이 출력되도록 한다. In addition, when a user passes a predetermined time or more in a state where the user touches the touch position of '204', the text recognition unit 107 recognizes that the text mapped to '204' is a blank object and the voice output unit Through 110, a voice message or a tone indicating a blank is output.
또한, 상기 사용자가 '208'의 터치포지션을 접촉한 상태로 미리 정해진 시간을 초과하면, 상기 문자 인식부(107)는 '더이상 문장이 없음'을 의미하는 음성 메시지가 출력되도록 한다.In addition, if the user exceeds a predetermined time in contact with a touch position of '208', the text recognition unit 107 outputs a voice message indicating 'no more sentences'.
또한, 상기 사용자가 터치포인터를 상하좌우로 움직이는 중에 '206'의 터치포지션을 접촉하면, 상기 문자 인식부(107)는 다음 페이지의 존재 여부를 판단하고, 다음 페이지가 존재하는 경우 '다음 페이지'를 의미하는 음성 메시지 또는 신호음이 출력되도록 한다. 그러면, 상기 문서 포맷 변환부(104)는 (b)와 같은 다음 페이지가 디스플레이 되도록 한다. In addition, when the user touches the touch position of '206' while moving the touch pointer up, down, left, or right, the character recognition unit 107 determines whether the next page exists, and if the next page exists, the next page exists. It outputs a voice message or a beep sound. Then, the document format conversion unit 104 causes the next page as shown in (b) to be displayed.
또한, 상기 사용자가 '212'의 터치포지션을 접촉한 상태로 미리 정해진 일정 시간 이상을 경과하면, 상기 문자 인식부(107)는 '더이상 문장이 없음'을 의미하는 음성 메시지가 출력되도록 한다. In addition, when the user passes a predetermined time or more in a state in which the user touches the touch position of '212', the text recognition unit 107 outputs a voice message indicating 'no more sentences'.
도 3은 본 발명에 따른 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating an electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired according to the present invention.
도 3을 참조하면, 터치스크린 장치는 터치 입력부의 격자 구조에 따라 문서의 포맷을 변환하고, 상기 문서내의 문자를 상기 터치 입력부의 터치포지션에 각각 배치하여 디스플레이하면서 각 터치포지션의 일련번호와 해당 문자를 매핑하여 저장한다(S300).Referring to FIG. 3, the touch screen device converts a format of a document according to a grid structure of a touch input unit, and displays characters in the document at each touch position of the touch input unit while displaying the serial numbers of the touch positions and the corresponding characters. Map and store (S300).
즉, 상기 터치스크린 장치는 사용자가 전원을 온(on)하면, 터치스크린의 격자 구조에 대하여 음성으로 출력한다. 예를 들어, 격자구조가 '3 by 4'인 경우 상기 터치스크린 장치는 '3 by 4 구조'라는 안내 음성을 출력한다. 상기 사용자는 상기 안내 음성을 통해 스크린의 터치 영역과 그 규모를 인식하게 된다.That is, the touch screen device outputs a voice to the grid structure of the touch screen when the user turns on the power. For example, when the grid structure is '3 by 4', the touch screen device outputs a guide voice of '3 by 4 structure'. The user recognizes the touch area of the screen and its size through the guide voice.
그런 다음 상기 터치스크린 장치는 사용자에 의해 선택된 문서를 파싱(parsing)하여 상기 터치 입력부의 격자 구조에 따라 문서의 포맷을 변환하여 상기 터치 입력부의 각 터치포지션(격자)에 문자 하나 또는 하나 이상을 배치한다.Then, the touch screen device parses the document selected by the user, converts the format of the document according to the grid structure of the touch input unit, and arranges one or more characters in each touch position (grid) of the touch input unit. do.
상기 S300의 수행 후, 상기 터치스크린 장치는 사용자에 의한 터치포지션 접촉이 감지되면(S302), 상기 접촉된 터치포지션의 위치 및 접촉 시간정보를 판단한다(S304). After performing the S300, when the touch position contact is detected by the user (S302), the touch screen device determines the position and contact time information of the touch position (S304).
상기 S304의 수행 후, 상기 터치스크린 장치는 상기 위치가 미리 정해진 지정 영역에 포함되는지의 여부를 판단한다(S306).After performing the step S304, the touch screen device determines whether the position is included in a predetermined designated area (S306).
상기 S306의 판단결과 미리 정해진 지정 영역에 포함되어 있으면, 상기 터치스크린 장치는 접촉 시간이 미리 정해진 일정 시간 이상인지의 여부를 판단한다(S308).If it is included in the predetermined designated area as a result of the determination in S306, the touch screen device determines whether the contact time is longer than a predetermined predetermined time (S308).
상기 S308의 판단결과 미리 정해진 일정 시간 이상이면, 상기 터치스크린 장치는 상기 접촉된 터치포지션이 위치하는 줄(line)에 있는 터치포지션 전체의 일련번호와 매핑된 문자들을 인식한다(S310).As a result of the determination in S308, if the touch screen device is longer than a predetermined time, the touch screen device recognizes the characters mapped to the serial number of the entire touch position on the line where the touch position is located (S310).
그런 다음 상기 터치스크린 장치는 상기 인식된 문자들을 음성 데이터로 변환하여 출력한다(S312).Thereafter, the touch screen device converts the recognized characters into voice data and outputs them (S312).
만약, 상기 S308의 판단결과 미리 정해진 일정 시간 이상이 아니면, 상기 터치스크린 장치는 해당 내용을 스킵한다(S314).If the determination result of S308 is not more than a predetermined time, the touch screen device skips the corresponding content (S314).
만약, 상기 S306의 판단결과 미리 정해진 지정 영역에 포함되어 있지 않으면, 상기 터치스크린 장치는 접촉 시간이 미리 정해진 일정 시간 이상인지의 여부를 판단한다(S316).If the determination result in step S306 is not included in the predetermined designated area, the touch screen device determines whether the contact time is longer than a predetermined time (S316).
상기 S316의 판단결과 미리 정해진 일정 시간 이상이면, 상기 터치스크린 장치는 상기 접촉된 터치포지션의 일련번호와 매핑된 문자부터 그 줄의 나머지 문자를 인식하고(S318), 상기 인식된 문자를 음성 데이터로 변환하여 출력한다(S320).If the determination result of the S316 is more than a predetermined time, the touch screen device recognizes the remaining characters of the line from the character mapped with the serial number of the touch position (S318), and the recognized character as voice data The output is converted (S320).
만약, 상기 S316의 판단결과 미리 정해진 시간 이상이 아니면, 상기 터치스크린 장치는 해당 내용을 스킵하게 된다(S322).If the determination result in step S316 is not longer than a predetermined time, the touch screen device skips the corresponding content (S322).
한편, 본 발명이 속하는 기술분야의 당업자라면, 본 발명의 본질적 기술 사상이나 필수적 특징을 변경하지 않고서도 다른 변형된 형태로 실시될 수 있음을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 당연히 예시적인 것으로 이해되어야 하고, 본 발명의 범위는 특허청구범위의 기재사항과 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태들을 포함하는 것으로 해석되어야 한다.On the other hand, it will be understood by those skilled in the art that the present invention may be implemented in other modified forms without changing the essential technical spirit or essential features of the present invention. Therefore, the above-described embodiments are to be understood as illustrative, and the scope of the present invention should be construed as including all changes or modifications derived from the description of the claims and their equivalents.

Claims (18)

  1. 크기가 같은 일정 개수의 격자가 서로 인접하게 배치되고, 각 격자는 터치포지션으로 형성된 터치 입력부;A predetermined number of grids having the same size are disposed adjacent to each other, and each grid includes a touch input unit formed as a touch position;
    상기 터치 입력부의 격자 구조에 따라 문서의 포맷을 변환하고, 상기 문서내의 문자를 상기 터치 입력부의 터치포지션에 각각 배치하면서 각 터치포지션의 일련번호와 해당 문자를 매핑하여 저장하는 문서 포맷 변환부;A document format conversion unit for converting a format of a document according to a grid structure of the touch input unit and mapping and storing the characters in the document at touch positions of the touch input unit and mapping serial numbers and corresponding characters of each touch position;
    사용자에 의한 터치포지션 접촉이 감지된 경우, 상기 접촉된 터치포지션의 위치 및 접촉시간 정보를 판단하는 접촉 감지부;A touch sensing unit configured to determine the position and the contact time information of the touch position when the touch position contact by the user is detected;
    상기 접촉 감지부로부터의 위치 및 접촉시간 정보를 근거로, 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들 또는 상기 접촉된 터치포지션의 일련번호와 매핑된 문자를 인식하는 문자 인식부;Location and contact time information from the contact sensing unit. A character recognition unit for recognizing characters mapped to serial numbers of entire touch positions in the corresponding line or characters mapped to serial numbers of the touched positions;
    상기 문자 인식부에서 인식된 문자를 문자 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하는 음성 합성 처리부; 및A speech synthesis processing unit converting the text recognized by the text recognition unit into speech data using a text-to-speech engine; And
    상기 음성 합성 처리부에서 변환된 음성 데이터를 출력하는 음성 출력부;A voice output unit configured to output voice data converted by the voice synthesis processor;
    를 포함하는 시각 장애인을 위한 터치스크린 장치.Touch screen device for the visually impaired comprising a.
  2. 제1항에 있어서, The method of claim 1,
    전원 온(on)의 수행 시, 상기 터치 입력부의 격자 구조를 음성으로 안내하는 격자 구조 안내부를 더 포함하는 시각 장애인을 위한 터치스크린 장치.When performing the power on (on), the touch screen device for the visually impaired further comprises a grid structure guide for guiding the grid structure of the touch input unit by voice.
  3. 제1항에 있어서,The method of claim 1,
    상기 터치 입력부는 풀터치 방식의 터치 스크린인 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The touch input unit is a touch screen device for the visually impaired, characterized in that the full touch type touch screen.
  4. 제1항에 있어서,The method of claim 1,
    상기 문자 인식부는 상기 터치포지션의 위치를 이용하여 터치포지션의 일련번호를 판단하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The character recognition unit is a touch screen device for the visually impaired, characterized in that for determining the serial number of the touch position using the position of the touch position.
  5. 제1항에 있어서,The method of claim 1,
    상기 문자 인식부는 상기 접촉 감지부에서 감지된 터치포인터의 상하좌우 움직임이 미리 정해진 일정시간 이내에서 이루어진 경우, 상기 상하좌우 움직임에 따른 위치에 해당하는 문자를 스킵(skip)하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The character recognition unit skips a character corresponding to a position according to the movement of the up, down, left, or right movements when the up, down, left, and right movements of the touch pointer detected by the touch sensing unit are within a predetermined time. Touch screen device for computer.
  6. 제1항에 있어서,The method of claim 1,
    상기 문자 인식부는 터치포인터가 상하좌우로 움직이면서 특정 터치포지션에 미리 정해진 일정시간 이상 접촉된 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 인식하고, 상기 터치포인터가 특정 터치포지션에 일정시간 이상 접촉하지 않은 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 스킵하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The character recognition unit recognizes a character mapped with a serial number of the specific touch position when the touch pointer moves up, down, left, and right for a predetermined time or more, and the touch pointer contacts the specific touch position for a predetermined time or more. If not, the touch screen device for the visually impaired, characterized in that for skipping the character mapped to the serial number of the specific touch position.
  7. 제1항에 있어서, The method of claim 1,
    상기 문자 인식부는 상기 위치가 미리 정해진 범위내에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들을 인식하고, The character recognition unit recognizes the characters mapped to the serial number of the entire touch position on the line when the position is within a predetermined range and the contact time is more than a predetermined time,
    상기 위치가 상기 범위외에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 터치포지션의 일련번호와 매핑된 문자부터 그 줄의 나머지 문자를 인식하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.If the location is out of the range and the contact time is more than a predetermined time, the touch screen device for the visually impaired, characterized in that the remaining characters of the line from the character mapped to the serial number of the corresponding touch position is recognized.
  8. 제7항에 있어서,The method of claim 7, wherein
    상기 미리 정해진 범위는 각 줄의 첫 번째 칸 터치포지션부터 순차적으로 일정 개수의 터치포지션까지인 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The predetermined range is a touch screen device for the visually impaired, characterized in that from the first space touch position of each row to a predetermined number of touch positions sequentially.
  9. 제1항에 있어서, The method of claim 1,
    상기 문자 인식부는 사용자에 의해 접촉된 터치포지션이 빈칸 문자 객체이고 접촉 시간이 미리 정해진 일정 시간 이상인 경우, 빈칸을 의미하는 음성 메시지 또는 신호음을 출력하도록 하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The text recognition unit is a touch screen device for the visually impaired, characterized in that if the touch position touched by the user is a blank text object and the contact time is more than a predetermined time, to output a voice message or a tone indicating a blank.
  10. 제1항에 있어서, The method of claim 1,
    상기 문자 인식부는 터치포인터를 상하좌우로 움직이는 중에 나머지 구간이 빈칸으로 채워진 터지포지션에 미리 정해진 일정시간이상 접촉된 경우, '더이상 문장이 없음'을 의미하는 음성 메시지를 출력하도록 하는 시각 장애인을 위한 터치스크린 장치.The text recognition unit is a touch for the visually impaired to output a voice message that means that there is no more sentences when the touch position is moved to the touch position filled with the blank while moving the touch pointer up, down, left and right for a predetermined time or more. Screen device.
  11. 제1항에 있어서,The method of claim 1,
    상기 문자 인식부는 터치포인터를 상하좌우로 움직이는 중에 현재 페이지의 마지막 줄 접촉이 감지되면 다음 페이지의 존재 여부를 판단하고, 다음 페이지가 존재하는 경우 '다음 페이지'를 의미하는 음성 메시지 또는 신호음이 출력되도록 하고, 다음 페이지가 존재하지 않은 경우 '문서의 끝'을 의미하는 음성 메시지 또는 신호음이 출력되도록 하는 시각 장애인을 위한 터치스크린 장치.The text recognition unit determines whether the next page exists when the last line contact of the current page is detected while moving the touch pointer up, down, left, and right, and if a next page exists, a voice message or a tone indicating 'next page' is output. And, if the next page does not exist, the touch screen device for the visually impaired to output a voice message or a signal that means 'end of the document'.
  12. 제11항에 있어서,The method of claim 11,
    상기 문자 인식부는 상기 터치포인터가 각 줄의 일정 칸 범위내에 위치하는 터치포지션을 순차적으로 접촉하면서, 현재 페이지의 마지막 줄로부터 상위로 일정 줄의 일정 칸 범위내에 위치하는 터치포지션에 미리 정해진 일정 시간 이상을 접촉한 경우, 상기 문서 포맷 변환부에 다음 페이지의 문서 포맷 변환을 요청하고, 상기 터치포인터가 마지막 줄의 일정 칸 범위내에 위치하는 터치포지션을 접촉한 경우, '다음 페이지'를 의미하는 음성 메시지 또는 신호음이 출력되도록 하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The character recognition unit sequentially touches a touch position located within a predetermined range of each line while the touch pointer is positioned within a predetermined range of a predetermined line above the last line of the current page, for a predetermined time or more. If the contact is requested, the document format conversion unit requests the document format conversion of the next page, and when the touch pointer touches a touch position located within a predetermined column of the last line, a voice message means 'next page'. Or a touch screen device for the visually impaired, characterized in that the signal to be output.
  13. 제12항에 있어서,The method of claim 12,
    상기 문서 포맷 변환부는 상기 문자 인식부로부터의 문서 포맷 변환 요청에 따라, 다음 페이지에 해당하는 문서의 포맷을 변환하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The document format converting unit converts a format of a document corresponding to a next page according to a request for converting a document format from the character recognition unit.
  14. 제1항에 있어서, The method of claim 1,
    상기 터치 입력부의 격자는 미리 정해진 일정 규칙에 따라 일관되게 전개되고, 각 격자가 인접하여 무효 영역이 존재하지 않는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치.The grid of the touch input unit is unfolded consistently according to a predetermined rule, each grid is adjacent to the touch screen device for the visually impaired, characterized in that there is no invalid area.
  15. 시각 장애인을 위한 터치스크린 장치를 이용하여 문서를 인식하는 방법에 있어서, In the method for recognizing a document using a touch screen device for the visually impaired,
    (a) 선택된 문서의 포맷을 터치 입력부의 격자 구조에 상응하도록 변환하고, 상기 문서내의 문자를 상기 터치 입력부의 터치포지션에 각각 배치하여 디스플레이하면서 각 터치포지션의 일련번호와 해당 문자를 매핑하여 저장하는 단계;(a) converting the format of the selected document to correspond to the lattice structure of the touch input unit, and placing and displaying the characters in the document in the touch positions of the touch input unit while mapping and storing the serial numbers of the respective touch positions and the corresponding characters. step;
    (b) 사용자에 의한 터치포지션 접촉이 감지되면, 상기 접촉된 터치포지션의 위치 및 접촉시간 정보를 판단하는 단계;(b) When touch position contact is detected by the user, the position and contact time information of the touch position touched are displayed. Determining;
    (c) 상기 (b)단계에서 판단된 위치 및 접촉시간 정보를 근거로, 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들 또는 상기 접촉된 터치포지션의 일련번호와 매핑된 문자를 인식하는 단계;(c) location and contact time information determined in step (b); Based on the above, recognizing characters mapped to the serial number of the entire touch position in the corresponding line or characters mapped to the serial number of the touched position;
    (d) 상기 인식된 문자를 문자 음성 변환(TTS) 엔진을 이용하여 음성 데이터로 변환하는 단계; 및(d) converting the recognized text into speech data using a text-to-speech engine; And
    (e) 상기 변환된 음성 데이터를 출력하는 단계;(e) outputting the converted speech data;
    를 포함하는 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법.Electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired.
  16. 제15항에 있어서, The method of claim 15,
    상기 (a)단계 이전에, 파워 온이 수행되면, 터치스크린의 격자 구조를 음성으로 출력하는 단계를 더 포함하는 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법.Before the step (a), if the power-on is performed, the electronic document recognition method using a skip navigation method in the touch screen device for the visually impaired further comprising the step of outputting a voice of the grid structure of the touch screen.
  17. 제15항에 있어서,The method of claim 15,
    상기 (c)단계는, Step (c) is,
    상기 위치가 미리 정해진 범위의 지정 영역에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 줄에 있는 터치포지션 전체의 일련번호와 매핑된 문자들을 인식하고, When the location is in a predetermined range of a predetermined range and the contact time is more than a predetermined time, recognize the characters mapped to the serial number of the entire touch position on the line,
    상기 위치가 상기 지정 영역외에 있으며 상기 접촉 시간이 미리 정해진 일정 시간 이상인 경우 해당 터치포지션의 일련번호와 매핑된 문자부터 그 줄의 나머지 문자를 인식하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법.When the location is outside the designated area and the contact time is more than a predetermined time, skipping in the touch screen device for the visually impaired, wherein the remaining characters of the line are recognized from the letter mapped with the serial number of the corresponding touch position. Electronic document recognition method using navigation method.
  18. 제15항에 있어서,The method of claim 15,
    상기 (c)단계는, Step (c) is,
    상기 사용자에 의한 터치포인터가 상하좌우로 움직이면서 특정 터치포지션에 미리 정해진 일정시간이상 접촉된 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 인식하고, When the touch pointer by the user moves up, down, left, and right and contacts a specific touch position for a predetermined time or more, a character mapped with the serial number of the specific touch position is recognized.
    상기 터치포인터가 특정 터치포지션에 일정시간이상 접촉하지 않은 경우 상기 특정 터치포지션의 일련번호와 매핑된 문자를 스킵하는 것을 특징으로 하는 시각 장애인을 위한 터치스크린 장치에서 스킵 네비게이션방식을 이용한 전자문서 인식 방법.When the touch pointer has not touched a specific touch position for a predetermined time or more, an electronic document recognition method using a skip navigation method in a touch screen device for the visually impaired may skip a character mapped with a serial number of the specific touch position. .
PCT/KR2010/007752 2010-08-31 2010-11-04 Touch screen apparatus for the blind, and method for recognizing electronic documents using a skip navigation method therefor WO2012030020A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100084926A KR101084285B1 (en) 2010-08-31 2010-08-31 Touch screen apparatus for blind person and method for recozing text using of skip navigation in the apparatus
KR10-2010-0084926 2010-08-31

Publications (1)

Publication Number Publication Date
WO2012030020A1 true WO2012030020A1 (en) 2012-03-08

Family

ID=45397827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/007752 WO2012030020A1 (en) 2010-08-31 2010-11-04 Touch screen apparatus for the blind, and method for recognizing electronic documents using a skip navigation method therefor

Country Status (2)

Country Link
KR (1) KR101084285B1 (en)
WO (1) WO2012030020A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715472B1 (en) * 2015-05-12 2017-03-14 금오공과대학교 산학협력단 Smart walking assistance device for the blind and Smart walking assistance system using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
KR20020097081A (en) * 2002-10-21 2002-12-31 김의식 Playing sysytem and method of voice book, and storage media thereof
US20030187658A1 (en) * 2002-03-29 2003-10-02 Jari Selin Method for text-to-speech service utilizing a uniform resource identifier
KR20090105531A (en) * 2008-04-03 2009-10-07 슬림디스크 주식회사 The method and divice which tell the recognized document image by camera sensor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0654734B1 (en) 1993-11-24 2000-04-19 Canon Information Systems, Inc. System for speaking hypertext documents such as computerized help files

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US20030187658A1 (en) * 2002-03-29 2003-10-02 Jari Selin Method for text-to-speech service utilizing a uniform resource identifier
KR20020097081A (en) * 2002-10-21 2002-12-31 김의식 Playing sysytem and method of voice book, and storage media thereof
KR20090105531A (en) * 2008-04-03 2009-10-07 슬림디스크 주식회사 The method and divice which tell the recognized document image by camera sensor

Also Published As

Publication number Publication date
KR101084285B1 (en) 2011-11-16

Similar Documents

Publication Publication Date Title
WO2012064034A1 (en) Touch screen device allowing a blind person to handle objects thereon, and method of handling objects on the touch screen device
WO2013172607A1 (en) Method of operating a display unit and a terminal supporting the same
WO2013070024A1 (en) Method and apparatus for designating entire area using partial area touch in a portable equipment
WO2012134210A2 (en) Touch screen apparatus for visually impaired people, and method for inputting characters to the apparatus
WO2015034177A1 (en) Method and device for executing command on basis of context awareness
WO2016208808A1 (en) Display device
WO2014196779A1 (en) Information processing apparatus and method using virtual keyboard
WO2014115943A1 (en) Touch sensitive display device providing an input interface and controlling method thereof
WO2013168988A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2014107005A1 (en) Mouse function provision method and terminal implementing the same
WO2011145788A1 (en) Touch screen device and user interface for the visually impaired
WO2014180150A1 (en) Method, terminal and computer storage medium for triggering a communication with a contact
WO2011055998A2 (en) Method and medium for inputting korean characters for touch screen
WO2012030020A1 (en) Touch screen apparatus for the blind, and method for recognizing electronic documents using a skip navigation method therefor
WO2015115691A1 (en) Mobile communication terminal and case for mobile communication terminal
WO2015037871A1 (en) System, server and terminal for providing voice playback service using text recognition
EP2524291A2 (en) Method for inputting korean character on touch screen
WO2023075565A1 (en) Japanese character input tool and input method
WO2016093416A1 (en) Digital device displaying index information and method for controlling the same
WO2021118184A1 (en) User terminal and control method therefor
WO2014168385A1 (en) Method for selecting character data and electronic device for processing same
WO2016027955A1 (en) Ars server, recording medium storing ars application program for generating and outputting response signal input to ars server, and ars service method using same
WO2010110614A2 (en) Apparatus and method for controlling terminal
WO2015122588A1 (en) Dot pattern recognizing device and content executing device
WO2014017840A1 (en) Keyboard using key combination method and character input method using same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10856766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10856766

Country of ref document: EP

Kind code of ref document: A1