WO1990010993A1 - Video/audio multiplex transmission system - Google Patents

Video/audio multiplex transmission system Download PDF

Info

Publication number
WO1990010993A1
WO1990010993A1 PCT/JP1990/000356 JP9000356W WO9010993A1 WO 1990010993 A1 WO1990010993 A1 WO 1990010993A1 JP 9000356 W JP9000356 W JP 9000356W WO 9010993 A1 WO9010993 A1 WO 9010993A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
audio
unit
information
signal
Prior art date
Application number
PCT/JP1990/000356
Other languages
English (en)
French (fr)
Inventor
Ryoichi Dangi
Takehiko Fujiyama
Toshiaki Usui
Takashi Kawabata
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to EP90904689A priority Critical patent/EP0418396B1/en
Priority to DE69032361T priority patent/DE69032361T2/de
Publication of WO1990010993A1 publication Critical patent/WO1990010993A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B14/00—Transmission systems not characterised by the medium used for transmission
    • H04B14/02—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation
    • H04B14/04—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation using pulse code modulation
    • H04B14/046—Systems or methods for reducing noise or bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present invention relates to a video / audio multiplex transmission system, and more particularly to a system for encoding, multiplexing and transmitting audio information and video information.
  • a conventionally known video and audio coding system that multiplexes coded audio information together with video coding information and other control information and transmits it is a 2 XB method that uses two 64 kb / s lines.
  • Transmission ratio between audio and video signals, especially when the transmission speed is low bit rate, such as 2B using one 128kbZs line or B system using one 64kbZs line Is generally about 1: 1 (for example, when the audio coding rate is 56 kbZs and the video coding rate is 64 kbZs), and about 1: 3 (for example, when the audio coding rate is 32 kbZs and the video coding rate is 32 kbZs). Is about 96kbZs), or about 1: 7 (for example, if the audio coding rate is 16kbZs and the video coding rate is (When the temperature is 112 kbZs).
  • the information density ratio between the audio signal and the video signal is originally several hundred times different, it is transmitted at the above ratio, so if the transmission ratio is 1: 1, the unit time The transmission amount of video information per unit is reduced, and the quality of moving image reproduction is degraded. On the other hand, if the transmission ratio is 1: 7, the sound quality will be degraded. Especially in the latter case, when encoding a video with little motion, unnecessary bits (file bits) are added to match the transmission capacity and the transmission bit rate is matched. ing.
  • the video coding unit used in such a video / audio multiplexing system employs coding methods such as interframe prediction coding, intraframe prediction coding, motion compensation prediction coding, and variable length coding. Although the video information is compressed for redundancy, the amount of information of the video signal is much larger than that of the audio signal, so there is a delay compared to the audio signal encoding Z decoding processing time. would.
  • the present invention controls the entire system including video information processing and audio information processing based on at least one of the video information and audio information to be transmitted, and maintains optimal video quality and audio quality as a whole system.
  • the purpose is to:
  • An AZD converter that converts audio input into digital audio, an audio encoding unit that encodes digital audio and outputs it as encoded audio with a selectable transmission amount, and outputs audio content information; AZD converter for converting to digital video and video coding for coding digital video and outputting it as coded video
  • a coding control unit that determines a transmission ratio between the coded voice and the coded video according to at least one information amount of the coded voice and the coded video and outputs the transmission ratio as an allocated signal, and
  • a transmitting unit including a multiplexing unit that multiplexes the coded audio, the coded video, and the control information including the assignment signal so as to have a fixed transmission frame length, and transmits the multiplexed signal to the transmission path from the transmitting unit.
  • An audio decoding unit that decodes the coded video into a decoded digital video, a decoding control unit that controls the audio decoding unit and the video decoding unit based on the assigned signal, Convert decoded digital audio to audio signal A video and audio multiplexing system that changes the audio-to-video transmission ratio based on the content of the transmission consisting of a DZA converter and a receiver that has a DZA converter that converts the decoded digital video to video signals Confuse.
  • Audio information has a smaller amount of information than video information, but since thinning is not allowed, the transmission ratio between video and audio is fixed and audio information of a constant quality is sent regardless of the transmission content.
  • the transmission ratio can be made variable.
  • adaptive coding is performed to output voice information as a plurality of coded voices with different coded bit rates. Then, by selecting one of the most appropriate coding bit rates according to the transmission content, the voice quality fluctuates, but the voice is interrupted.
  • the transmission is performed with the video and audio quality most suitable for the state at that time.
  • the receiving side also performs playback according to the encoded bit rate.
  • SB-ADPCM Another type of adaptive encoder is SB-ADPCM, which separates and encodes the low-frequency part with high information density and the high-frequency part with low information density. Only the change of SB-ADPCM
  • the video encoding unit performs various processes to compress the video information.
  • a video coding unit for coding and quantizing digital video a variable length coding unit for performing variable length coding of coded video information, a buffer temporarily stored before multiplexing, and It consists of a buffer determination unit that indicates the buffer accumulation status.
  • the video encoding unit outputs an accumulation amount signal indicating the buffer accumulation state.
  • the video signal will be thinned out and it will take some time before it is transmitted.
  • Audio encoder for encoding digital audio Convert audio input to digital audio to match video and audio output so that there is no gap regardless of transmission content
  • audio encoder for encoding digital audio Convert audio input to digital audio to match video and audio output so that there is no gap regardless of transmission content
  • audio encoder for encoding digital audio AZD converter for converting video input to digital video
  • video encoder for encoding digital video input / output of video encoder
  • a delay amount calculating section for generating video encoding delay time information for synchronizing video reproduction output and audio reproduction output from the information, and multiplexing the encoded video information and audio information with the delay time information.
  • a transmitting section having a multiplexing section, a separating section for separating the multiplexed signal from the transmission line into audio information, video information and delay time information, and a variable delay for delaying the audio information according to the delay time information
  • a control unit an audio decoding unit for decoding audio information from the variable delay control unit, a DZA changer for converting the decoded digital audio to an audio signal, and a video decoding unit for decoding video information.
  • the decrypted digital DZA converter to convert video output to video output
  • a video encoding unit that encodes the video signal corresponding to the video signal
  • a variable-length coding unit for providing a variable-length code to the coded result
  • a voice coding unit corresponding to a voice signal
  • the video and audio are configured to be multiplexed with the output corresponding to the audio encoding unit and transmitted, and to perform processing for extracting a video signal and an audio signal from a signal transmitted on the receiving side. In transmission systems.
  • a time division encoding unit for extracting and packetizing a signal during the effective period of the audio is provided, and the time division encoding unit controls the audio transmission rate in a system.
  • the system control unit receives the audio transmission rate and encodes the video encoding unit according to the amount of data in the buffer memory in the variable length encoding unit. This is realized by a video / audio multiplex transmission system configured to change the threshold data for controlling the amount, and to perform transmission according to the frame / format adapted to the above audio transmission speed.
  • Fig. 1 shows a conventional video and audio multiplex transmission system
  • Fig. 2 shows a transmission format based on CCITT Recommendation Y.221.
  • Fig. 3 shows a conventional example with a delay unit.
  • Fig. 4 is an explanatory diagram of the feedback control of the buffer part in the system shown in Fig. 3.
  • Fig. 5 shows the transmission frame format when the transmission amount in the system shown in Fig. 3 differs.
  • FIG. 6 is a basic configuration diagram of the present invention.
  • FIG. 7 is a block diagram of the transmitter of one embodiment.
  • Figure 8 shows the audio frame format
  • Figure 9 shows audio frame formats with different numbers of bits.
  • Fig. 10 shows an example of the configuration of the multiplexed Z separation unit.
  • Fig. 11 is a table showing examples of BAS code allocation and codes
  • Fig. 12 is an explanatory diagram for separating the coding bit rate from the BAS information.
  • Fig. 13 is an explanatory diagram showing the assignment of information to transmission frames.
  • Figs. 14 to 17 show examples of transmission frames when the number of bits of audio information is changed.
  • FIG. 18 shows an example of another transmission frame format
  • FIG. 19 shows a method of writing to the format of FIG. 18,
  • FIGS. 20 to 23 show audio information bits.
  • An example of the transmission frame when the number is changed is shown.
  • FIG. 24 shows an example in which the bit rate selection section is moved to the multiplexing section in the system shown in FIG.
  • Fig. 25 shows an example of the configuration of the multiplexed Z separation unit in the system shown in Fig. 24.
  • Figure 26 shows the change in the audio / video transmission ratio
  • Fig. 27 shows a conceptual diagram of data transmission when the transmission ratio between audio and video changes.
  • FIG. 28 shows a basic configuration diagram of another embodiment
  • FIG. 29 shows a block diagram of the transmitting side of the system shown in FIG. 28,
  • Fig. 30 is a flowchart showing the procedure for determining the bit rate from the video frame-to-frame change rate and the audio optimum bit rate.
  • FIG. 31 shows a basic configuration diagram of another embodiment
  • FIG. 32 is an explanatory diagram of the buffer judgment unit of the system shown in FIG. 31,
  • Fig. 33 shows an example of the bit arrangement of the FAS information.
  • Fig. 34 shows an example of a BAS code dividend.
  • FIG. 35 is a frame format diagram showing an embodiment of the allocated bits of the voice.
  • FIG. 36 is a diagram for explaining the decoding operation based on the assigned bits of audio.
  • Fig. 37 is a diagram showing the channel connection protocol
  • Fig. 38 is a diagram showing an example of additional bits for capability inquiry in AC information.
  • FIG. 39 shows a basic configuration diagram of another embodiment
  • FIG. 40 shows a conceptual diagram of frame information used in the system shown in FIG. 39.
  • FIG. 41 is a block diagram showing one embodiment of a delay amount calculation unit of the system shown in FIG. 39.
  • FIG. 42 is a block diagram showing an embodiment of the demultiplexing unit of the system shown in FIG. 39.
  • Fig. 43 is a diagram showing the control information in the frame format of the system shown in Fig. 39.
  • FIG. 44 shows a basic configuration diagram of another embodiment
  • Fig. 45 is an explanatory diagram of the transmission frame format of the system shown in Fig. 44.
  • FIG. 46 is an explanatory diagram of the processing in the time-division encoding unit
  • FIG. 47 is an explanatory diagram of the feedback control. [Best mode for carrying out the invention]
  • FIGS. 1 to 5 Before describing the embodiments of the present invention, a conventional video / audio multiplex transmission system will be described with reference to FIGS. 1 to 5 in order to better understand the present invention.
  • FIG. 1 is a block diagram showing a configuration of a conventional video / audio multiplex transmission system, showing only a transmitting unit and a receiving unit at both end stations.
  • the audio input is converted to digital audio by an AZD converter 1, further encoded by an audio encoding unit 2, and input to a multiplexing unit 6.
  • the video input is converted into digital video by the AZD converter 3, quantized by the video coding unit 4, and then subjected to variable length coding.
  • the variable length coded video information is temporarily stored in a buffer and input to the multiplexing unit 6.
  • the video encoding unit 4 is configured to have such a function.
  • the coded audio and coded video input to the multiplexing unit 6 are multiplexed at a fixed ratio so as to form a transmission frame format as shown in FIG.
  • the control information is multiplexed and transmitted to the transmission path 10.
  • the multiplexed signal from the transmission path 10 is separated by a separation unit 11 into coded audio, coded video, and control information.
  • the separated coded voice is converted into digital voice by the voice decoder 12 and further converted into a voice signal by the DZA converter 13 and output.
  • the separated encoded video is converted into a digital video by the video decoding unit 14 and further converted into a video signal by the DZA converter 15 and output.
  • the audio encoding unit 2 and the audio decoding unit 12 can decode the encoded audio to its original form. It is one that corresponds to it. The same applies to the video encoding unit 4 and the video decoding unit 14.
  • Fig. 3 shows the conventional configuration of one terminal in a video / audio transmission system.
  • reference numeral 20 is a terminal station
  • 3 is an AZ converter for a video signal
  • 41 is a video encoding unit
  • 42 is a variable length encoding unit
  • 1 is an AZD conversion unit for an audio signal
  • 2 is an audio encoding unit
  • 7 is a delay control section
  • 6 and 11 are multiplexing / demultiplexing sections
  • 68 is a transmission path interface section
  • 14 is a video decoding section
  • 15 is a DZA conversion section
  • 12 is an audio decoding section
  • 13 is a
  • the DZA conversion unit 19 is a system control unit.
  • the video signal is subjected to variable-length coding after the processing in the video coding unit 3, and is supplied to the multiplexing / demultiplexing units 6 and 11.
  • the audio signal is coded into a 4 KHz band of 16 Kbps or a 7 KHz band of 56 Kbps in the audio encoding unit 2 and a delay control unit for giving a delay corresponding to a delay for encoding the video signal After being delayed by the delay control unit 7, it is supplied to the multiplexing / demultiplexing units 6 and 11.
  • the video signal and the audio signal are multiplexed and transmitted from the transmission line interface section 68 to the opposite terminal station.
  • the multiplexing / separation units 6 and 11 separate the signal received from the opposite terminal into a video signal and an audio signal.
  • the video signal passes through the video decoder 14 and the DZA converter 15 and is received as a video output.
  • audio decoding Received as audio output through the conversion unit 12 and the DZA conversion unit 13.
  • V . delay time in processing units 34, 42, 42
  • V 2 processing unit 14 15 delay time
  • a 2 is given by the delay time in the processing unit 12 13.
  • the transmission line has a fixed speed with a line speed of 64 Kbps to 384 Kbps every 64 Kbps. For this purpose, feedback control as shown in FIG. 4 is performed, and the encoding process in the video encoding unit 4 is controlled.
  • FIG. 4 shows an embodiment of the feedback control.
  • Reference numerals 41, 4, and 19 in the figure correspond to FIG. 3, 42 is a variable-length coding unit, 43 is a buffer memory, 17 is a first threshold, and 18 is a second threshold value.
  • the buffer memory 43 stores variable-length coded video data, and is read out from the buffer memory 43 at a constant speed and multiplexed / separated. It is led to.
  • the second threshold 18 As shown in FIG. Instructs the video encoding unit 41 to stop video encoding.
  • the quantization of the video encoding unit is made clear.
  • the system control unit 19 Instructs to resume encryption. Or, elaborate the quantization.
  • Fig. 5 shows the transmission frame format in the conventional case.
  • Fig. 5 (A) shows the frame 'format in the case of 64 Kbps, where 8 Kbps is allocated to the frame information part, 16 Kbps is allocated to audio, and video is allocated to video. 40 Kbps is allocated.
  • Fig. 5 (B) shows the frame format for 128Kbps, where 16Kbps is assigned to audio (B-1) and when 56Kbps is assigned to audio (B- 2) exists.
  • Fig. 5 (C) shows the frame format at 192 Kbps, and the first 128 Kbps contains either the case (B-1) or the case (B-2). One is used.
  • Fig. 5 (D) shows the frame format in the case of 384Kbps, which is used as a video signal until 384Kbps.
  • the audio classification is as follows. The fixed value is 16 Kbps or 56 Kbps.
  • the processing in the video encoding unit 41 is controlled by the feedback control, but for the audio signal, However, the transmission capacity of 16 Kbps or 56 Kbps is secured as described above, even though there is a silent period in the voice.
  • FIG. 6 is a basic configuration diagram of the present invention, which comprises a transmitting unit B and a receiving unit C. Is done.
  • FIG. 7 shows one embodiment of the transmitting side of the video / audio multiplexing system of the present invention.
  • the audio encoder 2 has different numbers of encoded bits for digital audio.
  • 8 adaptive encoder has (e.g. ADPCM) 2, - 2 8, each adaptive coding unit 2, the playback output and the digital audio ⁇ 2 8 based on the noise evaluation method coded bit, single An evaluation unit 2A that determines the bit rate and generates encoded bit rate information, and a selection unit 2B that selects output audio information of the corresponding adaptive encoding unit based on the encoded bit rate information. It is configured.
  • the coding control unit 5 is substantially performed by the evaluation unit 2A.
  • the video coding unit 4 includes a coding unit (Q) 41 that codes and quantizes the digital video from the AZD converter 3 and a variable length coding unit that performs variable length coding on the coded video information. (It is composed of a VWL 42 and a buffer 43 for temporarily storing the video information coded in variable length. A clock supply unit 9 for transmission / reception transmission frames is provided.
  • FIG. 10 shows an embodiment of the voice delay / multiplexing units 6 and 7, and in this embodiment, the CPU 21 and the CPU bus 22 are connected to a transmission line by a frame format shown in FIG. ROM 23 which stores a procedure program for transmitting data to the bus, and an interface (IZF) 24 for loading video information, audio information, and encoded bit rate information into the bus 22 respectively.
  • ROM 23 which stores a procedure program for transmitting data to the bus
  • an interface (IZF) 24 for loading video information, audio information, and encoded bit rate information into the bus 22 respectively.
  • a RAM 27 having an address space for temporarily writing video information, audio information, and bit rate information from the interfaces 24 to 26, and sending each information to the transmission path.
  • an interface 28 for performing the operations.
  • the transmission frame format shown in Fig. 2 is one in which bits are assigned based on CCITT recommendation Y.221, and each multiframe constitutes one unit with 16 transmission frames (1 multiframe). 8 frames wide x 80 bits high-a total of 640 bits make up one transmission frame, and one transmission frame has audio, video and control information. It consists of FAS (Frame Alignment Signal) information and BAS (Bit Allocation Signal) information as (AC (Application Channel) information). Note that one multi-frame is composed of 16 transmission frames as described above, but data is transmitted in two directions in the direction of 1-30 as shown in Fig. 2 (a) and (b). -, ⁇ F, - 16 and F 2 -, ⁇ F 2 - 16 is sent and the connexion arrangement to-one. However, FAS information, BAS information transmission frame F, and F 2 Then they are separate.
  • the FAS information is frame information, and is used to establish synchronization by the synchronization procedure of (1) Y.221 frame synchronization and (2) multi-frame synchronization. That is, the frame unit can be distinguished by (1), and each frame can be identified by (2). The necessity of identifying all frames is for recognizing a response unit to a change in ⁇ S (Bit Allocation Signal) information described later.
  • ⁇ S Bit Allocation Signal
  • the transmitting side sets the encoding information of the audio information amount and the video information amount (for example, each encoding bit rate), and receives the encoding bit rate information from the evaluation unit 2A.
  • this coded bit rate is fetched into BAS information and transmitted, and is used to separate each data on the receiving side after frame synchronization is established.
  • the majority decision logic (8-frame) is obtained from the immediately preceding BAS information.
  • the next coded bit rate is detected according to the above 5 frames or more.
  • each frame has an "8 X n" bit configuration if it is removed by including the frame 'header in the BAS information. Can be done. That is, for example, if the voice data is filled up to 1 to 7 bits ( ⁇ axis) in the right direction every 8 bits in the vertical direction (for example, shown in Fig. 13 (1) to (8)), Transition to an 8-bit set is performed, and audio data is sequentially filled in a form corresponding to the selected encoding bit rate.
  • the embedding of the audio data and the video data is performed for each stage of vertical 8 bits, and the video data is embedded in the remaining portion from the buffer 43 as soon as the embedding of the audio data of each stage is completed.
  • FIGS. 14 to 17 show 0-bit encoding, 1-bit encoding, 3-bit encoding, and 7-bit encoding, respectively.
  • the relationship between audio data and video data in one transmission frame is shown.
  • Fig. 18 The format of the transmission frame when the audio frame header is not included in the BAS information is shown in Fig. 18, in which case the header is 1 bit long and 3 bits wide as shown.
  • Fig. 19 when audio and video data is written in the direction of ⁇ as shown in Fig. 19, each of the 3-bit information is 0 bit as shown in Fig. 20 to Fig. 23.
  • the transmission frame including the audio information and the video information is stored in the RAM 27, and when the transmission frame is completed (for 640 bits), the data is transmitted to the transmission line 10 at a rate matching the transmission speed.
  • the demultiplexing unit 11 on the receiving side has the same configuration as the multiplexing unit 7 shown in FIG. That is, as described above, the FAS information is analyzed with respect to the input data from the transmission path to establish (1) Y.221 frame synchronization and (2) multi-frame synchronization. Then, each data is separated by the separation unit 11 based on the BAS information, and the separated signal data is coded via each of the interfaces into a coded bit rate information, a decoding control unit 16, a voice information Is sent to the audio decoding unit 12, and the video information is sent to the video decoding unit 14.
  • the audio decoding unit 12 receives the decoded bit rate information from the decoding control unit, and decodes the audio information according to the bit rate.
  • the operation synchronized with the transmission line clock rate must be performed in order to make the encoding rate variable for each transmission frame. This is done by extracting the clock from the clock supply unit 9 shown in Fig. 7 on the receiving side (in the case of CMI code).
  • the cooktop is supplied by another system.
  • adaptive coding unit 2 although the outputs of ⁇ 2 3 via the selector 2 B is input to the multiplexing unit 6, of the Figure 24
  • adaptive coding section 2 -select information inputs the respective outputs of the ⁇ 2 8 multi duplex portion 6 as it is Okutsu to multiplexer 6.
  • the system configuration of the multiplexer 6 in the case is shown in FIG. 25, the adaptive coding unit 2, to 2 8 of each output audio data I printer off We Ichisu 25, received through the 25 8
  • One of the outputs is selected according to the encoded bit rate information and stored in the RAM 27 as audio information.
  • adaptive speech encoding section 2 performs redundancy compression by appropriately changing the bit rate according to the information amount of input speech, and speech information encoded by multiplexing section 6 and its bit rate. ⁇ Information
  • the multiplexing unit 6 multiplexes the audio information and the bit rate information together with the video information from the video encoding unit 4, but the transmission frame from the multiplexing unit 6 has a fixed length. Therefore, the amount of video information can be increased by an amount corresponding to the compression of the audio information and the reduction in the number of bits.
  • the transmission frame sent to the receiving side is separated into video information, audio information, and bit rate information by the demultiplexer 11, and the audio decoder 12 decodes the audio information according to the bit rate.
  • FIG. 27 shows the multiplexed transmission data. As shown in this figure, video and audio data are transmitted for each fixed frame unit. The number of transmitted data differs depending on the amount of information in the audio signal, and video data is inserted into the entire free space. It can be understood that the image quality is improved.
  • the optimal bit rate of the speech from the speech encoding unit 2 is input to the encoding control unit 5 and used as it is as an assignment signal.
  • the next embodiment whose principle diagram is shown in FIG. 28, attempts to determine the transmission ratio in consideration of the content of the video information.
  • FIG. 29 is a block diagram of the transmitting side of this embodiment.
  • Voice encoding unit 2 includes eight adaptive encoder for encoding bits number is different from each other with respect to the digital audio (e.g., ACPCM) 2, and to 2 8, each adaptive coding unit 2, to 2 8 regeneration It is composed of an evaluation unit 2A that determines the optimal speech coding bit rate based on the noise evaluation method from the output and digital speech, and generates speech bit rate information ACI.
  • ACPCM digital audio
  • evaluation unit 2A determines the optimal speech coding bit rate based on the noise evaluation method from the output and digital speech, and generates speech bit rate information ACI.
  • the video coding unit 4 includes a coding unit (Q) 41 for coding digital video from the AZD converter 3 and a variable length coding unit (VWLC) for performing variable length coding of the coded video information. ) 42 and a buffer 43 for temporarily storing the variable-length-encoded video information, and the inter-frame change rate determination unit 8 includes two buffers before and after the output of the AZD converter 3.
  • the frame memory (FM) 81 that accumulates the frames and the two preceding and succeeding pieces of information, the rate of change between the frames is obtained, and compared with the threshold value Th from the coding control unit 5 for comparison. Change the result to the encoding control unit 5.
  • a conversion rate comparing unit 82 By taking in the frame memory (FM) 81 that accumulates the frames and the two preceding and succeeding pieces of information, the rate of change between the frames is obtained, and compared with the threshold value Th from the coding control unit 5 for comparison. Change the result to the encoding control unit 5.
  • the threshold value Th is adjusted by the encoding control unit 5 in accordance with the VBI indicating the storage amount of the buffer 43.
  • the selection and multiplexing unit 6 each adaptive coding unit 2, corresponding adaptive by video and audio allocation bit rate data MI from the coding control unit 5 to input encoded output ⁇ 2 8 in parallel Includes selector 6a for selecting the output audio information of the encoder
  • FIG. 30 shows a control algorithm of the encoding control unit 5 for generating the video / audio allocation bit rate information MI based on the comparison result of the change rate comparison unit 82.
  • step S1 it is checked whether or not the change rate of the video information between the frames is larger than a threshold Th (step S1).
  • the video information is prioritized irrespective of the video / audio allocation bit rate information MI.
  • Information Allocates only 2 bits (16 kbZ s) (see Fig. 9 (3)) and assigns 14 bits (112 kbZ s) to video information. Generates and outputs bit rate information for video and audio. .
  • the frame configuration of 2 bits of audio + 14 bits of video 16 bits is used in the multiplexing operation in the multiplexing unit 6.
  • step S1 when the rate of change of the video information between frames is smaller than the threshold value Th, it is determined whether or not the amount of stored data VBI in the buffer 43 exceeds the threshold value Th '.
  • Step S 3 As a result, when the accumulated data amount VBI exceeds the threshold value Th ', the process proceeds to step S2 in the same manner as described above, and video information is preferentially assigned.
  • steps S4 to S15 the video and audio allocation bit rates according to the contents of the audio bit rate information ACI from the evaluation unit 2A are determined.
  • step S4 if the audio bit rate information ACI indicates 2-bit encoding in step S4, the process proceeds to step S2, and if the audio bit rate information ACI indicates 3-bit encoding, 13 bits are added to the video information. (104 kb / s), and so on.
  • the audio bit rate and the video bit rate are sequentially determined, and the video / audio allocation bit rate information MI is output to the multiplexing unit 6. .
  • the transmission ratio is determined from the optimal bit rate of audio, the rate of change of video information between frames, and the amount of buffer storage. However, the determination may be made with at least one piece of information. Alternatively, other information related to video information and audio information, such as a change rate of a video in a frame or a high frequency ratio of audio, may be used.
  • the next embodiment uses SB-ADPCM (sub-band ADPCM) as the speech encoder 2.
  • SB-ADPCM is a method of coding by dividing into two frequency bands, and the lower frequency part with high information density uses upper bits with more bits (for example, 6 bits out of 8 bits). In the high frequency band where the information density is low, the lower order (2 bits) with a smaller number of bits is assigned.
  • each assigned rate can be adopted adaptively (6, ⁇ , 8 bits).
  • an AZD converter 1 that converts the audio input into digital audio and an SB that encodes the digital audio separately into low-frequency and high-frequency bits -ADPCM encoding unit 2
  • AZD converter 3 for converting video input into digital video
  • video encoding unit 41 for encoding digital video
  • variable length encoding for encoded video information
  • a long encoder 42 a buffer 43 for temporarily storing the variable length encoded video information
  • a buffer determiner 44 for determining an audio allocation rate according to the amount of information stored in the buffer 43.
  • a multiplexing unit 6 that allocates a part of the video information to the high-frequency bit portion of the SB-ADPCM encoding unit 2 and multiplexes the assigned rate information, video information, and audio information.
  • a demultiplexing unit 11 for demultiplexing the multiplexed signal from the transmission path 10 into audio information, video information, and allocation information, and an audio decoding unit 12 for decoding the audio information by SB-ADPCM decoding
  • a DZA converter 13 for converting the digital audio decoded by the SB-ADPCM into an audio signal
  • a variable-length decoding unit 142 for performing variable-length decoding of the video information of the file 143, a reverse-coding unit 141 for decoding the variable-length-decoded video information to generate a digital video signal, and a digital video output. It comprises a DZA converter 15 for converting to a video output, and a decoding control unit 16 for controlling the audio decoding unit 12 according to the assigned rate.
  • the video input is converted into a digital signal by the AZD converter 3, filtered, guided to the encoding unit, and the amount of information is compressed using the information of the previous frame. Then, quantization is performed on the obtained value.
  • the quantized video information is assigned to a variable-length encoding unit (VWL042) to assign a short code to data with a high frequency of occurrence and, conversely, a long code to data with a low frequency of occurrence.
  • VWL042 variable-length encoding unit
  • the converted data is temporarily stored in the buffer (BUF) 43.
  • the data of the buffer 43 is multiplexed by the multiplexing unit (MUX) 6 and transmitted.
  • MUX multiplexing unit
  • the amount of data transmitted to the transmission path can be ascertained from the amount of data stored in the buffer 43, and this information is sent to the buffer determination unit 44, and the buffer determination unit 44 converts the information of the data amount into information. Based on this, it is possible to determine the audio allocation (coding) rate.
  • the audio input is converted to digital audio by the AZD converter 1 and sent to the SB-ADPCM encoder 2.
  • the coded output of SB-ADPCM 2 is selected according to the allocation rate determined by the buffer determination unit 44, and the required number of audio bits
  • the truncation is performed, video data is allocated to the truncated portion, and the multiplexing unit (MUX) 6 multiplexes the audio information, the video information, and the assigned rate information and transmits the multiplexed information.
  • MUX multiplexing unit
  • the demultiplexing unit (DMUX) ll separates the video information, audio information, and assigned rate information.
  • the SB-ADPCM decoding unit 12 When the separated audio data is decoded by the SB-ADPCM decoding unit 12, it can be performed using the separated allocation rate information.o
  • FIG. 32 shows an embodiment of the buffer judging section 44 shown in FIG. 31.
  • the write address W from the variable length encoding section 42 to the buffer 43 constituted by RAM is shown.
  • the read address R from the multiplexing unit 6 to the buffer 43 are input, and the following determination is made.
  • the reading of data has not progressed compared to the writing of data to the buffer 43. Therefore, it is determined that the amount of generated video information is large, and the SB-ADPCM code is used.
  • the SB-ADPCM code is used.
  • the information (0, 1) on the packet is sent to the multiplexing unit 6.
  • the amount of generated video information is determined to be medium, and the 8-bit data from the SB-ADPCM encoder 2 is determined. Encodes only 7-bit audio data, including 6 bits allocated to the low-frequency component by truncating 1 bit of the 2 bits allocated to the high-frequency component of the encoded voice-encoded data.
  • FIG. 33 An example of the bit arrangement of FAS information is shown in Fig. 33, and frame synchronization (1) is performed by recognizing FAW (Frame Alignment Word) ("0011011" in Fig. 33).
  • the multi-frame synchronization (2) is identified by the information Mi assigned to the first bit of the FAS information, and the first, third, fifth, seventh, ninth, and eleventh frames are identified. Focusing on the frame information M i, synchronization is established by the pattern “001011”.
  • FIG. 34 shows an example of BAS information.
  • This BAS information is generated on the transmitting side so as to set the ratio between the amount of audio information and the amount of video information based on the above-mentioned allocation rate.
  • (See Fig. 12) is information used to separate each data on the receiving side after frame synchronization is established.
  • the separation unit for audio Z video data is 80 bits.
  • the output from the encoding control unit 5 is performed by the CPU 21 as shown in FIG. 35 by the CPU 21.
  • audio data is used as it is with 8 bits ((a) in the figure), and audio data is truncated by 1 bit and used in 7 bits ((b) in the figure)
  • the bit allocation is determined, and the audio information and the video information are stored in the RAM 27 (see FIG. 3 (c)).
  • the data is transmitted to the transmission line 10 at a rate matching the transmission rate.
  • the demultiplexing unit 11 on the receiving side has the same configuration as the multiplexing unit 6 shown in Fig. 10 with the arrow just reversed. have. That is, by analyzing the FAS information with respect to the input data from the transmission path as described above, (1) Y.221 frame synchronization, and (2) multi-frame synchronization are established. Each data is separated by the separation unit 11 based on the BAS information, and the separated signal data is passed through the interface to the audio information to the SB-ADPCM decoding unit 12 and the video information to the buffer 143 and the variable-length decoding unit 142.
  • the separated audio information must be output at the timing synchronized with the transmission line clock (8 kHz, 64 kHz) according to the number of assigned audio bits as shown in Fig. 36. Therefore, the audio information is decoded by the SB-ADPCM decoding unit 12 based on the above assigned rate information included in the BAS information, output by the DZA converter 13 as an analog signal, and The information is decoded from the buffer 143 by the variable length decoding unit U2, decoded by the video decoding unit 141, converted into an analog video signal by the DZA converter 15, and output.
  • the ADPCM-MQ system and the SB-ADPCM system can be used as the adaptive speech coding units.
  • the adaptive speech coding units include the DPCM system and the APC-AB There is a system, etc., and it is not necessary to confirm that the transmitting and receiving sides match the transmitting and receiving methods Z mismatch
  • the mutual capability that is, the encoding method, is queried by 8 bits of the 64-bit AC information.
  • Fig. 39 it consists of a transmitter D and a receiver E, and on the transmitting side, an AZD converter 1 that converts audio input to digital audio, and encodes the digital audio.
  • Audio encoder 2 an AZD converter 3 that converts video input to digital video, a video encoder 4 that encodes digital video, and video playback from input / output information of the video encoder 4.
  • a delay amount calculation unit 31 for generating video coding delay time information for synchronizing the output and the audio reproduction output, and a multiplexing unit 6 for multiplexing the coded video information and audio information with the delay time information 6
  • a delay amount calculation unit 31 for generating video coding delay time information for synchronizing the output and the audio reproduction output
  • a multiplexing unit 6 for multiplexing the coded video information and audio information with the delay time information 6
  • a separating unit 11 for separating the multiplexed signal from the transmission path 10 into audio information, video information and delay time information, and a variable delay control unit for delaying the audio information according to the delay time information 32, and decodes audio information from the variable delay control unit 32.
  • a DZA converter 15 for converting to an output.
  • the delay time (T v: variable amount) required for the encoding process in the video signal encoding unit 4 is fixed in the audio signal encoding unit 2 and the decoding unit 12. Since the fixed processing delay time (T a: a certain amount) obtained by subtracting the fixed processing delay time in the video signal decoding unit 14 from the delay time is short, the audio decoding unit 12 and the video decoding unit 14 output simultaneously.
  • the delay amount calculation unit 31 calculates the delay time TV of the encoding process based on the input / output information of the video encoding unit 4. This delay time TV and a predetermined delay time T known in advance.
  • the information about the delay time Td is provided to the multiplexing unit 6 from a and, and the delay time information is multiplexed with video information and audio information and transmitted (see FIG. 40).
  • variable delay control unit 32 delays the separated audio information by the delay time T d and performs audio decoding. Given to Chemical Department 12.
  • FIG. 41 shows an embodiment of the delay amount calculating section 31 shown in FIG. 39.
  • a buffer (BIJF) 2 a for storing and accumulating the video information from the AZD converter 1 is used.
  • a selector (SEL) 2b for selecting video information or an evaluation pattern from the buffer 2a based on the select signal; and a video information amount detection for detecting the video information amount using the memory 35.
  • the unit 2 includes an arithmetic control unit 2 d that receives the above-mentioned video information amount, generates an evaluation pattern and a select signal, and receives an evaluation pattern from the video encoding unit 4.
  • the Hamasan control unit 2 determines, based on, for example, a change in the output of the video information amount detection unit 2c, that the difference between the temporally adjacent video information amounts (T1 TO) is a certain threshold value (Th If the above is the case, the processing shifts to the sequence for calculating the processing delay time T vc of the video encoding unit 4.
  • the selector signal is supplied from the arithmetic control unit 2d to the selector 2b, so that the selector 2b switches the video data of the buffer 2a to the evaluation pattern and outputs the evaluation pattern, and outputs the evaluation pattern. It is sent from b to the video encoding unit 4.
  • the processing delay time T vc is calculated by calculating the time from when the evaluation pattern is transmitted to when the evaluation pattern is output from the encoding unit 4.
  • the evaluation pattern a pattern that does not exist in the video data is used as the evaluation pattern, and that an evaluation pattern is input in the encoding unit 4.
  • the evaluation pattern "00000000000000” is used in order to output the data in an unprocessed state.
  • the video data is stored in the buffer 2a, and its reading is prohibited. Therefore, the video data is not discarded.
  • the arithmetic control unit 2d obtains a delay time Td for further synchronization. This is,
  • T Vd is the video decoding delay time
  • T aC is the audio coding delay time
  • T ad is the audio decoding delay time
  • T a T Vd — T aC — Tad is the video coding delay time T VC Since it can be considered to be constant as compared with, by obtaining this Ta in advance, the delay time Td is obtained and can be sent to the multiplexing unit 6.
  • FIG. 42 shows an embodiment of the multiplexing unit 6.
  • the CPU 21 and the CPU bus 22 transmit the data to the transmission line in the frame format shown in FIG.
  • An interface (IZF) 24 to 26 for taking in the bus 22 the video information, the audio information, and the delay time information from the delay amount calculation unit 31, respectively;
  • a RAM 27 having an address space for temporarily writing video information, audio information, and delay information from the interfaces 24 to 26, and an interface for sending each information to a transmission path.
  • the transmission frame format is shown in FIG. 2, and as shown in FIG. 6, the FAS information is frame information, (1) Y.221 frame synchronization and (2) multi-frame synchronization are used to establish synchronization. That is, the frame unit can be distinguished by (1), and each frame can be identified by (2). The necessity of identifying all frames is to recognize a response unit to a change in BAS (Bit Allocation Signal) information described later.
  • BAS Bit Allocation Signal
  • the delay time information from the delay amount calculation unit 31 is described above by using eight frames (CODEC function unit) of DLY 0 to 7 in the control information (AC information) unit shown in FIG.
  • the information about the delay time Td is indicated, and these 8 bits enable 256 kinds of voice delay information to be transmitted to the receiving side device.
  • the bit allocation is determined by the CPU 21 according to the BAS information stored in advance, and the audio information and The video information is stored in the RAM 27.
  • the delay time information obtained by the delay amount calculation unit 31 is stored as control information. Then, when the frame format is completed, the data is transmitted to the transmission line 10 at a rate matching the transmission speed.
  • the demultiplexing unit 11 on the receiving side has the same configuration as that of the multiplexing unit 6 shown in FIG. That is, by analyzing the FAS information with respect to the input data from the transmission path as described above, (1) Y.221 frame synchronization and (2) multi-frame synchronization are established. Then, based on the BAS information, each data is separated by the separation unit 11, and the separated signal data is transmitted to the variable delay control unit 32 through each interface, and the video information is decoded into the video through each interface. To the chemical department 14. Further, the delay time information in the control information is similarly separated and sent to the variable delay control unit 32.
  • the variable delay control unit 32 receives the delay time information separated by the separation unit 11, delays the voice information by the delay time Td, and sends it to the voice decoding unit 12.
  • a fixed delay time is prepared in advance in the delay amount calculation unit 31 on the transmission side, but a delay amount calculation unit is also provided on the reception side to provide a desired delay time T d May be required.
  • FIG. 44 shows a basic configuration diagram of this embodiment.
  • symbol A is a terminal
  • 3 is an AZD converter for video signals
  • 41 is a video encoder
  • 42 is a variable length encoder
  • 1 is an AZD converter for audio signals
  • 2 is an audio encoder
  • 6 , 11 are multiplexing / demultiplexing units
  • 9 is a transmission line interface unit
  • U2 is a variable length decoding unit for video signals
  • 141 is a video decoding unit
  • 15 is a DZA converter
  • 12 is a voice decoding unit
  • 13 is a DZA A converter
  • 19 is a system control unit
  • 71 is a time division coding unit
  • 72 is a time division decoding unit.
  • the video signal is subjected to a variable length coding process after the predictive coding process in the video coding unit 41, and is supplied to the multiplexing / demultiplexing units 6 and 11.
  • the audio signal is coded in the 4 kHz band 16 Kbps or the 7 kHz band 56 Kbps in the audio encoding unit 2 and only during the validity period in which the silent period in the audio signal is removed in the time division encoding unit 71. Are extracted, bucketed, and collected for a period that substantially matches the desired delay control amount T and supplied to the multiplying / separating units 6 and 11.
  • the video signal and the audio signal are multiplexed, and The data is transmitted from the interface section 68 to the opposite terminal station.
  • the signals received from the opposite terminal are separated into video signals and audio signals in the multiplexing / division sections 6 and 11.
  • the video signal is received as a video output through the variable length decoding unit 142, the video decoding unit 141, and the D / A converter 15.
  • the audio signal is received as an audio output through the time-division decoding unit 72, the audio decoding unit 12, and the DZA converter 13.
  • the time-division coding unit 71 extracts a signal of a valid period in which a silence period is removed from the audio signal based on the output from the audio encoding unit 2 and compiles the signal into a bucket, and compiles the packet. These are combined for a time corresponding to the above-mentioned delay control amount T, and supplied to the multiplexing / separating units 6 and 11 for a minimum of 0 to a maximum of 7 (56 Kpbs), for example, in units of 8 Kbps. Then, the time-division encoding unit 71 notifies the system control unit 19 and the multiplexing / demultiplexing units 6 and 11 which of the audio transmission speeds of 0 Kbps to 56 Kbps has been output.
  • the system control unit 19 sets a threshold value for controlling the encoding process in the video encoding unit 41 based on the amount of data in the buffer memory in the variable length encoding unit 42. Second threshold). That is, the transmission amount of the video signal increases as the transmission amount of the audio signal decreases.
  • the multiplexing / separating units 6 and 11 receive the transmission speed of the audio signal, and inform the opposing terminal stations of the transmission speed of the audio signal on the multiplexed frame format.
  • FIG. 45 (A) shows transmission frames and formats in the case of the embodiment
  • FIG. 45 (B) is a diagram for explaining the configuration frame information.
  • the frame information includes a frame header, and also has configuration frame information for notifying the opposite terminal station of the voice transmission speed.
  • the frame rate information is obtained by combining the audio transmission rate supplied to the multiplexing / dividing sections 6 and 11 in the time division encoding section 41 within the range of 0 Kbps to 56 Kbps. Information Described in the form of “0 0 0” or “1 1 1”.
  • the audio signal transmission section is divided from a minimum of 0 Kbps to 56 Kbps. Assigned and transmitted. If a Kbps is given for the audio signal, the remaining (56-a) Kbps is used to transmit the video signal.
  • FIG. 46 shows a processing mode in the time division encoding unit. Assuming that a voice input ⁇ as shown in the figure is given, it is digitized by the AZD converter 1 shown in FIG. 44 to become an AZD output 2. Note that “1”, “2”, and “3” in the figure are signals during the valid period. The AZD output (1) is deleted as shown in the figure and the silence period is deleted, and is combined as shown in the bucketed output (3).
  • the bucketing output 3 is generated as shown in the illustrated ⁇ , fa). ()...> For each predetermined period t s as shown in the illustrated bucket information 4. Such information ( ⁇ ), ( ⁇ ), (',) ... is the delay control As shown in the input data to the multiplexing / demultiplexing unit shown in the figure, 8 Kbps is used as one unit, and is divided into 0 to 7 units. Supplied. The above-mentioned voice transmission speed is given depending on the number of the collected ⁇ ), fa) ... >>. That is, in the case of 0, “0 0 0” shown in FIG. 45 (B) is generated, in the case of 1, “0 0 1” is generated, and in the case of 7, there are “1 1”. 1 ”is generated.
  • FIG. 47 shows the form of feedback control in the case of the present invention.
  • the voice transmission rate (the coding rate shown) generated by the time-division coding unit 41 is supplied to the system control unit 19 as a second threshold value such as the threshold value 2 ′ in the present invention.
  • the first threshold is given as a fixed value as in the conventional case.
  • the system control unit 19 changes the condition for instructing the video encoding unit 41 to stop the encoding process based on the audio transmission rate (encoding rate) as shown in FIG. 47 (B). Or change the quantization table. That is, the higher the voice transmission speed is, the more the data is stored in the buffer memory 43, and the above-mentioned stop is instructed in a state where the data is less. Or change the quantization table to a new one. Of course, conversely, as the voice transmission speed is lower, the stop is instructed in a state where the data stored in the buffer memory 43 is larger. Or you can make the quantization table more elaborate. “Control A” in the figure is a control signal for the video encoder 3, and “Control B” in the figure is a control signal for notifying the multiplexing / demultiplexing units 6 and 11 of the audio transmission rate.
  • the present invention is used in a video conference system using a video / audio multiplex transmission system, and is more effective in a relatively low-order system whose transmission capacity is not sufficient. It can also be applied to

Description

明 細 書 映像 ·音声多重伝送システム 技 術 分 野
本発明は映像 ·音声多重伝送システムに関し、 特に音声情 報と映像情報を符号化し多重化して伝送するシステムに関す るものである。
近年、 テレビ会議やテレビ電話等のように音声情報と映像 情報の双方を伝送する通信が盛んになって来ており、 このよ うな多重化通信方式では、 両者の符号化 ·復号化を高能率に 行うと共に音声情報と映像情報のバラ ンスを保つことも重要 になっている。 背 景 技 術
符号化された音声情報を、 映像符号化情報及びその他の制 御情報と共に多重化して伝送する従来から知られている映像 音声符号化方式においては、 64kb/ s回線 2本を使用する 2 X B方式、 128kbZ s回線 1本を使用する 2 B、 或いは 64k b Z s回線 1本を使用する B方式のような特に伝送速度が低ビ ッ ト レー トである場合、 音声 · 映像信号間の伝送比率は、 一 般に約 1 ： 1 (例えば音声符号化速度が 56kbZ sで映像符号 化速度が 64kbZ sの場合） 、 約 1 ： 3 (例えば音声符号化速 度が 32k bZ sで映像符号化速度が 96k bZ sの場合） 、 或いは 約 1 ： 7 (例えば音声符号化速度が 16kbZ sで映像符号化速 度が 112kbZ sの場合） に固定されている。
しかしながら、 音声信号と映像信号との情報密度の比率は 本来数 100倍の違いがあるにも拘わらず、 上記の比率で伝送 されているため、 伝送比率が 1 ： 1の場合には、 単位時間当 たりの映像情報の伝送量が少なくなってしまい動画像再生品 質の劣化を招来し、 他方、 伝送比率が 1 ： 7の場合には、 今 度は音声品質が悪くなつてしまう。 特に後者の場合で、 動き の少ない映像を符号化する際には、 伝送容量に合わせるため に不必要なビッ ト （フ ィ ル · ビッ ト） を付加し伝送ビッ ト · レー トの整合を取っている。
このように従来の方式に於いては、 映像品質 Z音声品質の 何れか一方の犠牲を余儀無く されてしまうという問題点があ つ / ο
このような映像 ·音声多重化方式に用いられる映像符号化 部では、 フ レーム間予測符号化、 フ レーム内予測符号化、 動 き補償予測符号化、 可変長符号化等の符号化手法により、 映 像情報の冗長度圧縮を図っているが、 音声信号に比べて、 映 像信号の情報量の方が遥かに多いため音声信号の符号化 Z復 号化処理時間に对して遅延が生じてしまう。
そのため、 受信側において映像と音声の同期 （リ ップ · シ ンク） を確保出来ず、 映像と音声が一致しない不自然な再生 がなされていた。
このためあらかじめ音声の処置に対する映像信号の処理の 遅れ時間の平均を求め、 これを参考にして定めた固定した遅 延時間をシステムの音声処理時に生じさせるという方法も行 なわれている。 しかし実際の遅延時間は映像情報の内容によ り変わるため不自然さを充分改善できないという問題がある。 また通常は音声情報に比べて、 映像情報の情報量の方が遥 かに多いため、 実際には映像情報はすべて送られるわけでは ない。 すなわち送れない分は無視され、 映像情報は間引いて 送られる。 これにより受信側で再生された映像は動きの粗い ものになる。 これは、 映像の質より も リ アルタイム性がより 重要であるためである。
一方音声信号に対しては音声中に無音期間が存在するにも 拘らず、 16kpsZ s分あるいは 56kpsZ s分の伝送容量が確保 されている。 このために、 音声信号における無音期間を映像 信号のために利用することが望まれる。 発 明 の 開 示
本発明は送信する映像情報及び音声情報のすくなく とも一 つの情報に基づいて、 映像情報処理及び音声情報処理を含め たシステム全体の制御を行ない、 システム全体として最適な 映像品質及び音声品質を維持することを目的とする。
まず本発明の一つの態様によればこの目的は次のようにし て実現される。
音声入力をデジタル音声に変換する A Z D変換器と、 デジ タル音声を符号化し送信量が選択可能な形をした符号化音声 として出力すると共に音声内容情報を出力する音声符号化部 と、 映像入力をデジタル映像に変換する A Z D変換器と、 デ ジタル映像を符号化し符号化映像として出力する映像符号化 部と、 符号化音声と符号化映像のすくなく とも一方の情報量 に応じて符号化音声と符号化映像の伝送比率を決め、 割当信 号として出力する符号化制御部と、 及び割当信号に基づく符 号化音声と符号化映像と更に割当信号を含む制御情報とを一 定の伝送フ レーム長になるように多重化する多重化部とを備 える送信部と、 送信部より伝送路に送出され伝送路を通って 送られた多重化された信号を受信し、 符号化音声と符号化映 像と割当信号を含む制御信号に分離する分離部と、 符号化音 声を復号化し復号デジタル音声にする音声復号化部と、 符号 化映像を復号化し復号デジタル映像にする映像復号化部と、 割当信号に基づいて音声復号化部と映像復号化部への制御を 行なう復号化制御部と、 復号デジタル音声を音声信号に変換 する D Z A変換器と、 及び復号デジタル映像を映像信号に変 換する D Z A変換器を備える受信部で構成される送信内容に より音声と映像の送信比率を変えて伝送する映像 · 音声多重 ΐε送システムでめる。
音声情報は映像情報に比べて情報量は小さいが間引き等は 許容されないため、 映像と音声の伝送比率は固定され、 送信 内容にかかわらず一定の品質の音声情報が送られていた。 本発明では送信比率を可変にできる。 もちろんこのために は音声情報が途切れることなく送信比率を変えることが必要 である。 そこで音声情報を異なる符号化ビッ ト レー 卜の複数 の符号化音声として出力する適応型の符号化を行なう。 そし て送信内容に応じて一つのもっとも適当な符号化ビッ ト レー トを選択することで音声品質の変動は起きるが、 音声は途切 れること無しにその時の状態にもっとも適した映像と音声の 品質で伝送が行なわれる。 受信側も符号化ビッ ト レー トに応 じた再生を行なう。
また複数の符号化ビッ ト レー トを比較し音声内容からもつ とも最適な品質すなわちビッ ト レー トの選定を行なう。
適応型符号化器としては他に SB- ADPCMがあり、 これは情報 密度の高い低域周波数部と情報密度の低い高域周波数部に分 けて符号化するものでビッ ト数の選定は音質の変化だけをも たらす。
この SB- ADPCMと複数の符号化ビッ ト レー トの場合、 ビッ ト 数の選定を音声情報だけでなく映像情報や映像バッフ ァの状 態を考慮して行なう とシステム全体としてよりバラ ンスのと れたものになる。 映像情報としてはフレーム間の情報変化率 等が用いられる。
映像符号化部は映像情報を圧縮するため各種の処理が行な われる。 このためデジタル映像を符号化し量子化する映像符 号化部と、 符号化された映像情報を可変長符号化する可変長 符号化部と、 多重化前に一時的に蓄積されるバッフ ァとこの バッファの蓄積状態を示すバッ ファ判定部で構成される。 映 像符号化部はこのバッファ蓄積状態を示す蓄積量信号を出力 する。
バッ ファが一杯になれば映像信号は間引かれ、 送出される まで時間もかかることになる。
送信内容にかかわらず映像と音声の出力をずれが無いよう に一致させるためには、 音声入力をデジタル音声に変換する A Z D変換器と、 デジタル音声を符号化する音声符号化部と、 映像入力をデジタル映像に変換する A Z D変換器と、 デジタ ル映像を符号化する映像符号化部と、 映像符号化部の入出力 情報から映像再生出力と音声再生出力を同期させるための映 像符号化遅延時間情報を発生する遅延量潢算部と、 符号化さ れた映像情報及び音声情報と遅延時間情報とを多重化する多 重化部とを備えた送信部と、 伝送路からの多重化された信号 を音声情報と映像情報と遅延時間情報とに分離する分離部と， 遅延時間情報に従って音声情報を遅延させる可変遅延制御部 と、 可変遅延制御部からの音声情報を復号化する音声復号化 部と、 復号化されたデジタル音声を音声信号に変換する D Z A変化器と、 映像情報を復号化する映像復号化部と、 復号化 されたデジタル映像出力を映像出力に変換する D Z A変換器 と
を備えた受信部とで構成される映像 ·音声多重伝送システム で実現される。
遅延量を利用しこの間のあるレベル以下の音声の期間すな わち無音期間を省き音声部分をまとめて送信するためには、 映像信号に対応して、 映像信号を符号化する映像符号化部 と、 符号化された結果に対して可変長符号を与える可変長符 号化部とをそなえると共に、 音声信号に対応して、 音声符号 化部をそなえ、 上記可変長符号化部からの出力と上記音声符 号化部に対応した出力とが多重化されて伝送されるよう構成 され、 受信側で伝送されたものに対して、 映像信号と音声信 号とを抽出する処理を行う映像 · 音声伝送システムにおいて. 上記音声符号化部からの出力にもとづいて、 音声の有効期間 中の信号を抽出してパケッ ト化する時分割符号化部をもうけ ると共に、 当該時分割符号化部が音声伝送速度をシステム制 御部に通知するよう構成され、 システム制御部は、 上記音声 伝送速度を受け取って、 上記可変長符号化部内のバッ ファ · メ モリ上のデータ量に対応して上記映像符号化部の符号化量 を制御するための閾値データを変更するよう構成され、 上記 音声伝送速度に適合したフレーム · フ ォーマツ トにしたがつ た伝送を行うようにした映像 · 音声多重伝送システムで実現 される。
〔図面の簡単な説明〕
第 1図は従来例の映像 ·音声多重伝送システムを示し、 第 2図は CC I TT勧告案 Y. 221に基づく伝送フ ォーマツ トを 示し、
第 3図は遅延部を設けた従来例を示し、
第 4図は第 3の示すシステムでのバッファ部分のフイー ド バッ ク制御の説明図で、
第 5図は第 3の示すシステムでの伝送量が異なる場合の伝 送フ レームフ ォーマツ トを示し、
第 6図は本発明の基本構成図で、
第 7図は 1つの実施例の送信側プロ ッ ク図で、
第 8図は音声フレームフ ォーマツ トを示し、
第 9図はビッ ト数が異なる音声フ レームフ ォーマツ トを示 し、 第 10図は多重化 Z分離部の構成例を示し、
第 11図は B A S コ 一ドの割当例とコ―ドの表であり、 第 12図は B A S情報から符号化ビッ ト レートを分離する説 明図であり、
第 13図は伝送フ レームへの情報の割当を示す説明図であり . 第 14図から第 17図は音声情報のビッ ト数を変えたときの伝 送フレーム例を示し、
第 18図は他の伝送フ レームフ ォ ーマツ トの例を示し、 第 19図は第 18図のフ ォ ーマツ トへの書込方法を示し、 第 20図から第 23図は音声情報のビッ ト数を変えたときの伝 送フ レーム例を示し、
第 24図は第 Ί図に示すシステムでビッ ト レー トの選択部を 多重化部へ移した例を示し、
第 25図は第 24図に示すシステムの多重化 Z分離部の構成例 を示し、
第 26図は音声と映像の伝送比率の変化を示し、
第 27図は音声と映像の伝送比率が変化した場合のデータ送 信の概念図を示し、
第 28図は他の実施例の基本構成図を示し、
第 29図は第 28図が示すシステムの送信側のプロック図を示 し、
第 30図は映像のフ レーム間変化率と音声最適ビッ トレート よりビッ ト レー トを決定する手順を示すフ ロ ーチャ ー ト図を 示し、
第 31図は他の実施例の基本構成図を示し、 第 32図は第 31図が示すシステムのバッファ判定部の説明図 であり、
第 33図は F A S情報のビッ ト配列例を示し、
第 34図は B A Sコー ドの配当例を示し、
第 35図は音声の割当ビッ トの実施例を示したフ レームフ ォ 一マッ ト図を示し、
第 36図は音声の割当ビッ トに基づいた復号化動作を説明す るための図であり、
第 37図はィ ンチヤ ンネル接続プロ ト コルを示した図であり, 第 38図は A C情報における能力問い合せのための付加ビッ ト例を示す図であり、
第 39図は他の実施例の基本構成図を示し、
第 40図は第 39図が示すシステムに用いられるフレーム情報 の概念図を示し、
第 41図は第 39図が示すシステムの遅延量演算部の一実施例 を示すブロ ッ ク図であり、
第 42図は第 39図の示すシステムの多重化分離部の一実施例 を示すプロ ッ ク構成図を示し、
第 43図は第 39図が示すシステムのフ レームフ ォ ーマツ ト内 の制御情報を示す図で、
第 44図は他の実施例の基本構成図を示し、
第 45図は第 44図の示すシステムの伝送フ レームフ ォ ーマツ トの説明図であり、
第 46図は時分割符号化部における処理の説明図であり、 第 47図はフ ィ ー ドバッ ク制御の説明図である。 〔発明を実施するための最良の形態〕
本発明の実施例を説明する前に、 本発明をより良く理解す るため従来の映像 ·音声多重伝送システムについて第 1図か ら第 5図を用いて説明する。
尚、 全図面を通して、 同一対象物には同一参照番号が付さ れている。 第 1図は従来例の映像 ·音声多重伝送システムの 構成を示すブロック図であり、 両端局での送信部と受信部の みを示している。 図に示されるように音声入力は A Z D変換 器 1でデジタル音声に変換され、 更に音声符号化部 2で符号 化され多重化部 6に入力される。 映像入力は A Z D変換器 3 でデジタル映像に変換され、 更に映像符号化部 4で量子化さ れた後可変長符号化される。 この可変長符号化された映像情 報は一時的にバッファに蓄積され多重化部 6に入力される。 映像符号化部 4はこのような機能を有するように構成されて いる。 多重化部 6に入力された符号化音声と符号化映像は、 第 2図に示すような伝送フレームフォーマツ トの形になるよ う一定の比率で多重化されさらに PAS, BAS, AC等の制御情報 が多重化され伝送路 10に送出される。
伝送路 10よりの多重化信号は分離部 11で符号化音声、 符号 化映像及び制御情報に分離される。 この分離された符号化音 声は音声復号化部 12でデジタル音声に変換され更に D Z A変 換器 13で音声信号に変換され出力される。 一方分離された符 号化映像は映像復号化部 14でデジタル映像に変換され更に D Z A変換器 15で映像信号に変換され出力される。 音声符号化 部 2 と音声復号化部 12は符号化した音声をもとの形に復号で きるように対応したものである。 映像符号化部 4 と映像復号 化部 14も同様である。
あらかじめ遅延を予想し固定した遅延を与えた場合は以下 の通りである。
第 3図は映像 ♦音声伝送システムにおける一方の端局の従 来構成を示している。 図中の符号 20は端局、 3は映像信号に 対する A Z 変換器、 41は映像符号化部、 42は可変長符号化 部、 1 は音声信号に対する A Z D変換部、 2は音声符号化部、 7は遅延制御部、 6 , 11は多重 · 分離部、 68は伝送路ィ ンタ フ ェ ース部、 14は映像復号化部、 15は D Z A変換部、 12は音 声復号化部、 13は D Z A変換部、 19はシステム制御部を表し ている。
映像信号は、 映像符号化部 3における処理の後に、 可変長 符号化処理が行われ、 多重 · 分離部 6 , 11に供給される。 一 方、 音声信号は、 音声符号化部 2 において、 4 KHz 帯域 16 Kbpsあるいは 7 KHz 帯域 56Kbpsにコ一ド化され、 映像信号に 対する符号化のための遅延に対応する遅延を与える遅延制御 部 7をもうけ、 当該遅延制御部 7において遅延された後に、 多重 ·分離部 6 , 11に供給される。
そして、 映像信号と音声信号とは多重化されて、 伝送路ィ ンタ フ ユ一ス部 68から対向端局に伝送される。
対向端局からの受信信号については、 多重 ♦分離部 6 , 11 において、 映像信号と音声信号とに分離される。 映像信号に ついては、 映像復号化部 14、 D Z A変換部 15をへて、 映像出 力として受け取られる。 また音声信号については、 音声復号 化部 12、 D Z A変換部 13をへて、 音声出力として受け取られ る o
なお、 上記遅延制御部 7 における遅延制御量 Tは、
Ί = ( τ V 1 + X V 2 ) ― ( A 1 + X Α 2 )
但し V . ： 処理部 3 4Ί , 42における遅延時間、
V 2 処理部 14 15における遅延時間、
A 1 処理部 1 2 , 7 における遅延時間、
A 2 処理部 12 13における遅延時間 で与えられる。
また、 伝送路は、 64Kbpsから 384Kbpsまでの 64Kbps毎の回 線速度をもっていて固定容量である。 このために、 第 4図に 示す如きフ ィ一ドバック制御が行われ、 映像符号化部 4にお ける符号化処理が制御される。
第 4図はフ ィ ー ドバッ ク制御の態様を示している。 図中の 符号 41， 4 , 19は第 3図に対応し、 42は可変長符号化ュニッ ト、 43はバッフ ァ · メ モ リ 、 17は第 1の閾値、 18は第 2の闕 値を表している。 バッ フ ァ ' メ モ リ 43内には可変長符号化さ れた映像データが格納されると共に、 バッ フ ァ · メ モ リ 43か らは一定速度で読出されて多重 * 分離部 6 , 11に導かれる。 バッ フ ァ - メ モ リ 43内に蓄積されている映像データの量に したがって、 例えば第 4図 （B ) 図示の如く、 蓄積量が第 2 の閾値 18を越える段階になると、 システム制御部 19は映像符 号化部 41に対して映像符号化停止を指示する。 あるいは、 映 像符号化部の量子化をあらくする。 また蓄積量が第 1 の閾値 17以下に低下する段階になると、 システム制御部 19は映像符 号化再開を指示する。 または、 量子化をこまかくする。
第 5図は従来の場合の伝送フ レーム · フ ォ ーマツ トを示し ている。
第 5図 （ A ) は、 64Kbpsの場合のフ レーム ' フ ォ ーマ ッ ト を示しており、 フ レーム情報部分に 8 Kbps分を割当て、 音声 に対して 16Kbps分を割当て、 映像に対して 40Kbps分を割当て いる。
第 5図 （B ) は、 128Kbpsの場合のフ レーム · フ ォ ーマツ トを示し、 音声に対して 16Kbpsを割当ている場合 （B— 1 ) と、 音声に対して 56Kbpsを割当ている場合 （B— 2 ) とが存 在する。 第 5図 （C ) は、 192 Kbpsの場合のフレーム · フ ォ —マツ トを示し、 前半の 128Kbps分には上記 （B— 1 ) の場 合と （B— 2 ) の場合とのいずれか一方が用いられてる。 更 に第 5図 （D ) は、 384Kbpsの場合のフ レーム · フ ォ ーマツ トであり、 384Kbpsになるまで映像信号の分として利用され 従来の場合には、 第 5図図示の如く、 音声区分として 16 Kbpsあるいは 56Kbpsが固定的に定められている。 映像信号に 対しては、 第 4図を参照して説明した如く、 フ ィ 一ドバック 制御によつて映像符号化部 41における処理が制御されるよう になっているが、 音声信号に対しては、 音声中に無音期間が 存在するにも拘らず、 上記の如く 16Kbps分あるいは 56 Kbps分 の伝送容量が確保されている。
次に本発明の実施例を以下に記載する。
第 6図は本発明の基本構成図で、 送信部 Bと受信部 Cで構 成される。
第 7図は本発明の映像 · 音声多重化方式の送信側の 1つの 実施例を示したもので、 この実施例では、 音声符号化部 2 は、 デジタル音声に対する符号化ビッ ト数が各々異なっている 8 個の適応符号化部 （例えば ADPCM) 2 , 〜 2 8 と、 各適応符号 化部 2 , 〜 2 8 の再生出力及び該デジタル音声から雑音評価 法に基づいて符号化ビッ ト レ一 トを決定し符号化ビッ ト レー ト情報を発生する評価部 2 Aと、 その符号化ビッ ト レー ト情 報により対応する適応符号化部の出力音声情報を選択する選 択部 2 Bとで構成されている。 ここで符号化制御部 5 は実質 的に評価部 2 Aがその機能を行なう。 また、 映像符号化部 4 は、 A Z D変換器 3からのデジタル映像を符号化し量子化す る符号化部 （Q ) 41と、 この符号化された映像情報を可変長 符号化する可変長符号化部（VWL 42と、 この可変長符号化さ れた映像情報を一時的に蓄積するバッファ 43とで構成されて いる。 尚、 9は送受信の伝送フレームのク ロ ッ ク供給部であ ο
適応符号化部 2 , ~ 2 8 から出力される音声情報のフ レ一 ム （バケツ ト） フォーマツ トは第 8図に示す通りであり、 フ レームヘッダ a と、 このフ レームヘッダ a に続く一連の音声 データで構成され、 最適な雑音評価を受けた適応符号化部の 符号化ビッ ト数 k xサンプリ ングレー ト n ( Ti = 8 KHz)のビ ッ ト数で構成される。
これらの適応符号化部 2 , 〜 2 8 でそれぞれ 0〜 7 ビッ ト 符号化された音声フ レームの例が第 9図に示されており、 こ れらのいずれかが選択部 2 Bで選択されて多重化部へ送られ る
第 10図は音声遅延 · 多重化部 6 , 7の一実施例を示したも ので、 この実施例では、 CPU 21と、 C P Uバス 22と、 第 9図 に示すフ レームフ ォ ーマツ 卜で伝送路にデータを送出するた めの手順プログラムを格納した ROM 23と、 映像情報、 音声情 報、 及び符号化ビッ ト レ— ト情報をそれぞれバス 22に取り込 むためのイ ンタフヱ一ス （ I ZF) 24~26と、 これらィ ンタ フ エース 24〜26からの映像情報、 音声情報、 及びビッ ト レー ト情報を一時的に書き込むためのァ ド レス空間を有する RAM 27と、 各情報を伝送路に送出するためのィ ンタフェース 28と で構成されている。
第 2図に示す伝送フ レームフ ォ ーマツ トは、 CCITT勧告案 Y.221に基づいてビッ ト割当を行ったものであり、 各マルチ フ レームは 16伝送フ レームで 1単位を構成し （ 1マルチフ レ ー厶 =16伝送フ レーム） 、 横 8ビッ ト X縦 80ビッ ト -合計 640ビッ トが 1伝送フ レームを構成しており、 また、 1伝送 フ レームは音声情報と映像情報と制御情報 （AC (Application Channel)情報） としての F A S (Frame Alignment Signal)情 報及び B A S (Bit Allocation Signal) 情報で構成されてい る。 尚、 1マルチフ レームは上述の如く 16伝送フ レームで構 成されているが、 データは第 2図 （a), (b ) に示すように ①―㉚の方向に 2つの伝送フ レーム、 例えば — , 〜F ,— 16 と F 2— , 〜 F 2 - 16が 1対になつて構成され且つ送出される。 但し、 F A S情報、 B A S情報は伝送フ レーム F , と F 2 と では別々である。
FA S情報は、 フ レーム情報であり、 （ 1 )Y.221フ レーム 同期、 及び （ 2 ) マルチ · フ レーム同期の同期手順により同 期を確立するために使用される。 即ち、 上記 （ 1 ) によりフ レーム単位の区別ができ、 （ 2 ) により各フ レームの識別が 可能となる。 尚、 全フ レーム識別の必要性は、 後述する ΒΑ S (Bit Allocation Signal) 情報の変化に対する応答単位を 認識する為である。
B A S情報は送信側において音声情報量と映像情報量の符 号化情報 （例えば各々の符号化ビッ ト レー ト） を設定したも ので、 評価部 2 Aから符号化ビッ ト レー ト情報を受けること によりこの符号化ビッ ト レー トを第 11図に示すように B A S 情報に取り込んで伝送し、 フ レーム同期確立後に受信側で各 データの分離を行うために使用される。 この BA S情報は、 1サブ · マルチフ レーム毎 （ 1マルチフ レーム = 2サブ . マ ルチフ レーム） に判定され、 第 12図に示すように、 1つ前の B A S情報から多数決の論理 （ 8フ レーム中の 5フ レーム以 上） に従って次の符号化ビッ ト レー トが検出される。
次に、 この実施例による伝送フ レーム化動作を説明する。 上記のような伝送フ レーム情報 （第 2図） 用いた場合の多 重化部 6では、 CPU 21により B A S情報として記憶された符 号化ビッ ト レー トに従ってビッ ト配分が決定され、 上述した ように各フ レームは、 フ レーム ' ヘッダを B A S情報に含め ることによつて除く と " 8 X n " ビッ ト構成となるため、 第 13図に示すようにフ レーム割当が最適に行う事が出来る。 即ち、 例えば縦方向の 8ビッ ト単位 （例えば第 13図 （ 1 ) 〜 （ 8 ) で示す） 毎に右方向に 1〜 7 ビッ ト （撗軸） まで音 声データが埋められると、 下段の 8ビッ トの組へと移行し、 選択された符号化ビッ ト レー トに対応した形で順次音声デー タが埋められて行く。
このとき、 音声データと映像データの埋め込みは縦 8 ビッ ト単位の 1段毎に行われ、 映像データは各段の音声データの 埋め込みが終了次第、 バッ フ ァ 43から残りの部分に埋め込ま れる。
このようにして 1つの伝送フ レームが形成されるが、 第 14 図〜第 17図には、 それぞれ 0 ビッ ト符号化、 1 ビッ ト符号化、 3 ビッ ト符号化、 及び 7 ビッ ト符号化の場合の 1伝送フ レー ムにおける音声データと映像データとの関係が示されている c 尚、 この実施例では音声フ レームヘッダを B A S情報に含 める為、 " 1 マルチフ レーム （ = 16フ レーム） " 毎に音声符 号化レー トが可変となる。
また、 このように B A S情報にフ レームへッダを含めると , データを 8ビッ ト毎に格納することができるので、 後述する 第 23図のような半端なデータが生じない利点がある。
音声フ レームヘッダを B A S情報に含めない場合の伝送フ レームのフ ォ ーマツ トが第 18図に示されており、 この場合に はへッダは図示のように縦 1 ビッ ト ·横 3 ビッ トの 3 ビッ ト 情報とし （第 9図参照） 、 第 19図に示すように音声 · 映像デ 一タを橫方向に書き込む場合には、 第 20図〜第 23図に示すよ うにそれぞれ 0 ビッ ト符号化、 1 ビッ ト符号化、 3 ビッ ト符 号化、 及び 7 ビッ ト符号化の場合の 1伝送フ レームを形成す る o
この音声情報及び映像情報から成る伝送フ レームを RAM 27 に格納し、 伝送フ レームが完成した時点（640ビッ ト分） で伝 送速度に一致したレー トでデータを伝送路 10に送出する。
一方、 受信側における分離部 11は第 10図に示した多重化部 7 と丁度矢印を逆方向にした形で同様の構成を有している。 即ち、 伝送路からの入力データに対して、 上述したように, この F A S情報を解析することにより （ 1 ) Y. 221フ レーム同 期、 及び （ 2 ) マルチ · フ レーム同期を確立する。 そして、 B A S情報に基づいて各データを分離部 11で分離し、 分離さ れた各信号データを、 各々のィ ンタ フユースを介して符号化 ビッ ト レー ト情報は復号化制御部 16、 音声情報は音声復号化 部 12へ、 そして映像情報は映像復号化部 14へ送る。
そして、 音声復号化部 12では復号化制御部からの復号化ビ ッ ト レー ト情報を受けてそのビッ ト レー トに従って音声情報 を復号化する。
このように本発明で用いる伝送フ レームは一定ビッ ト長で あるので、 伝送フ レーム毎に符号化レー トを可変にするため には、 伝送路クロ ック レー トに同期した動作を、 第 7図に示 したクロ ッ ク供給部 9からのクロッ クを受信側で抽出するこ とにより行っている （C M I符号の場合） 。 但し、 RS 422又 は I NCUでは別系統でク口 ックが供給される。
尚、 上記の実施例では適応符号化部 2 , 〜 2 3 の各出力を 選択部 2 Bを介して多重化部 6に入力しているが、 第 24図の 実施例では、 適応符号化部 2 , 〜 2 8 の各出力をそのまま多 重化部 6に入力すると共にセレク ト情報も多重化部 6 に送つ ている。
この場合の多重化部 6のシステム構成が第 25図に示されて おり、 適応符号化部 2 , 〜 2 8 の各出力音声データをィ ンタ フヱ一ス 25 , 〜258 に介して受け、 符号化ビッ ト レー ト情報 によりそれらのいずれかの出力を選択して音声情報として RAM 27に格納するようにしている。
本発明では、 入力音声の情報量に応じて適応音声符号化部 2が適宜ビッ ト レ一 トを変えることにより冗長圧縮を行って 多重化部 6に符号化された音声情報とそのビッ ト レー ト情報 ¾· る。
これにより多重化部 6ではその音声情報とビッ ト レー ト情 報と共に映像符号化部 4からの映像情報も合わせて多重化す るが、 この際、 多重化部 6からの伝送フレームは一定長であ るので、 音声情報が圧縮されてビッ ト数が少なく なった分だ け映像情報量を増加させることができる。
このようにして受信側に送られてきた伝送フレームは分離 部 11で映像情報と音声情報とビッ ト レー ト情報に分離され、 音声復号化部 12ではそのビッ ト レー トに従って音声情報を復 号化する。
このようにして音声情報量と映像情報量のデータ シュア リ ングが変化するが、 その様子が第 26図 （ 1 ) 〜 （ 3 ) に示さ れている。
また、 第 27図には多重化された送出データが示されており この図に示すように、 一定フ レーム単位毎に映像 · 音声デ一 タが送出されており、 音声信号は、 情報量の多少に従って送 出データ数が異なり、 空き領域全体に映像データが挿入され、 映像品質が向上されることが理解できる。
第 Ί図の実施例では音声符号化部 2からの音声の最適なビ ッ ト レー トが符号化制御部 5 に入力されてそのまま割当信号 としていた。 しかしさらに映像情報の内容も考慮して送信比 率を決めようとするのが第 28図に原理図を示した次の実施例 である。
この実施例の送信側のブ n ック図が第 29図である。
音声符号化部 2は、 デジタル音声に対する符号化ビッ ト数 が各々異なっている 8個の適応符号化部 （例えば ACPCM) 2 , 〜2 8 と、 各適応符号化部 2 , 〜2 8 の再生出力及びデジタ ル音声から雑音評価法に基づいて最適な音声符号化ビッ ト レ 一トを決定し音声ビッ ト レー ト情報 A C Iを発生する評価部 2 Aとで構成されている。
また、 映像符号化部 4は、 A Z D変換器 3からのデジタル 映像を符号化する符号化部 （Q ) 41と、 符号化された映像情 報を可変長符号化する可変長符号化部（VWLC) 42と、 この可変 長符号化された映像情報を一時的に蓄積するバッフ ァ 43とで 構成されており、 フ レーム間変化率判定部 8は A Z D変換器 3 の出力を前後した 2つのフ レーム分蓄積するフ レームメ モ リ （ F M ) 81と、 これらの前後した 2つの情報を取り込んで フ レーム間の変化率を求めると共に符号化制御部 5からの閾 値 T hと比較してその比較結果を符号化制御部 5に与える変 化率比較部 82とで構成されている。 尚、 この閾値 T hはバッ ファ 43の蓄積量を示す V B I に応じて符号化制御部 5で加減 されるものである。 また、 選択 · 多重化部 6は各適応符号化 部 2 , 〜2 8 の符号化出力を並列に入力して符号化制御部 5 からの映像 · 音声割当ビッ ト レー ト情報 M I により対応する 適応符号化部の出力音声情報を選択する選択部 6 aを含んで い
適応符号化部 2 , 〜 2 8 から出力される音声情報のフ レー ム （パケッ ト） フ ォ ーマ ッ トは第 8図に示す通りであり、 フ レームヘッダ aと、 このフ レームヘッダ aに続く一連の音声 データで構成され、 最適な雑音評価を受けた適応符号化部の 符号化ビッ ト数 k Xサンプリ ングレー ト n ( n = 8 KHz)のビ ッ ト数で構成される。
これらの適応符号化部 2 , 〜 2 8 でそれぞれ 0〜 7 ビッ ト 符号化された音声フ レームの例が第 9図に示されており、 こ れらのいずれかが選択部 6 aで選択されて多重化される。
第 30図は変化率比較部 82の比較結果を受けて映像 · 音声割 当ビッ ト レー ト情報 M Iを発生するための符号化制御部 5の 制御アルゴリズ厶を示したものである。
第 30図において、 まず比較部 82での比較の結果、 フ レーム 間の映像情報の変化率が閾値 T hより大きいか否かをチェ ッ ク し （ステップ S 1 ) 、 例えばテレビ会議等で出席者が立ち 上がって映像情報が大き く変化して閾値 T hを越えたときに は、 映像 · 音声割当ビッ ト レー ト情報 M I にかかわらず映像 情報を優先させるためステップ S 2に示すように音声情報に 2 ビッ ト （16kbZ s ) (第 9図 （ 3 ) 参照） のみを割り当て、 映像情報に 14ビッ ト （112kbZ s ) を割り当てた映像 ·音声割 当ビッ ト レ一 ト情報を生成して出力する。 尚、 音声 2 ビッ ト +映像 14ビッ ト = 16ビッ トのフ レーム構成は多重化部 6での 多重化動作で用いられるものである。
一方、 ステ ッ プ S 1での比較の結果、 フ レーム間の映像情 報の変化率が閾値 T hより小さかったときには、 バッファ 43 の蓄積データ量 V B Iが閾値 T h ' を越えているか否かをチ ユックする （ステップ S 3 ) 。 この結果、 蓄積データ量 V B Iが閾値 T h ' を越える程大きい時には、 上記と同様にステ ップ S 2に進んで映像情報を優先的に割り当てる。
VBK Th' のときには、 以下のステップ S 4〜 S 15におい て評価部 2 Aからの音声ビッ ト レー ト情報 A C I の内容に応 じた映像と音声の割当ビッ ト レー トが決定される。
即ち、 ステ ッ プ S 4で音声ビッ ト レー ト情報 A C I が 2 ビ ッ ト符号化を示しているときには、 ステップ S 2へ進み、 3 ビッ ト符号化を示しているときには映像情報に 13ビッ ト （104 kb/ s ) を割り当てる、 というように順次、 音声ビッ ト レー トと映像ビッ ト レ一 トとを決定して映像 ·音声割当ビッ ト レ 一ト情報 M Iを多重化部 6 に出力する。
上記実施例では送信比率を音声の最適ビッ ト レー ト、 映像 情報のフ レーム間変化率及びバッ ファの蓄積量から決めてい たが、 決定は少なく とも一つの情報で行なわれても良く、 更 に映像情報、 音声情報に関する他の情報、 たとえば映像のフ レーム内変化率や音声の高周波比率等を用いても良い。 次の実施例は音声符号化部 2 として SB - ADPCM (サブバン ド ADPCM)を用いる。 SB- ADPCMは、 2つの周波数帯域に分けて符 号化する方式であり、 情報密度の高い低域周波数部にはビッ ト数の多い上位ビッ ト （例えば 8 ビッ ト中の 6 ビッ ト） を、 情報密度の低い高域周波数帯域についてはビッ ト数の少ない 下位 （ 2 ビッ ト） を割り当てるものである。 従って、 その下 位よりデータを切り捨てる事が可能であり、 各割当レー トを 適応的 （ 6 , Ί , 8 ビッ ト ） に採用することができる。 第 31 図に原理的に示すように、 送信側において、 音声入力デジタ ル音声に変換する A Z D変換器 1 と、 デジタル音声を低周波 ビッ ト部分と高周波ビッ ト部分とに分けて符号化する SB- ADPCM 符号化部 2 と、 映像入力をデジタル映像に変換する A Z D変 換器 3 と、 デジタル映像を符号化する映像符号化部 41と、 符 号化された映像情報を可変長符号化する可変長符号化部 42と、 可変長符号化された映像情報を一時的に蓄積するバッフ ァ 43 と、 バッ ファ 43に蓄積された情報量に応じて音声の割当レー トを決定するバッファ判定部 44と、 割当レー トに応じて該
SB - ADPCM符号化部 2の高周波ビッ ト部分に映像情報の一部を 割り当て、 この割当レー ト情報と映像情報と音声情報とを多 重化する多重化部 6 と、 を備えている。
また、 受信側においては、 伝送路 10からの多重化された信 号を音声情報と映像情報と割当情報とに分離する分離部 11と、 音声情報を SB- ADPCM復号化する音声復号化部 12と、 SB- ADPCM 復号化されたデジタル音声を音声信号に変換する D Z A変換 器 13と、 映像情報を一時的に蓄積するバッ フ ァ 143 と、 バッ ファ 143 の映像情報を可変長復号化する可変長復号化部 142 と、 可変長復号化された映像情報を逆符号化してデジタル映 像信号を発生する逆符号化部 141 と、 デジタル映像出力を映 像出力に変換する D Z A変換器 15と、 割当レー トに従い音声 復号化部 12を制御する復号化制御部 16を備えている。
第 31図送信側においては、 映像入力を A Z D変換器 3によ りデジタル信号に変換してフィ ルタ処理を行った後符号化部 へ導き、 前フ レームの情報を用いて情報量の圧縮を行い、 そ こで得られた値に対し量子化を行う。 この量子化された映像 情報を可変長符号化部（VWL0 42の処理により、 発生頻度の高 いデータには短い符号が、 逆に発生頻度の低いデータには長 い符号が割り当てられ、 この符号化されたデータをバッファ (BUF) 43に一時蓄積する。
このバッ フ ァ 43のデータは多重化部（MUX) 6で多重化され 送出されるが、 伝送路容量が少ない場合にはバッ ファ 43の蓄 積データ量は多くなり、 伝送路容量が多い場合には蓄積デ— タ量は少なくなる。
従って、 バッ フ ァ 43の蓄積データ量により、 伝送路への送 出データ量を把握する事ができ、 この情報がバッファ判定部 44へ送られ、 バッ ファ判定部 44はそのデータ量の情報に基づ いて、 音声の割当 （符号化） レー トを定めることが出来る。
また、 音声入力は A Z D変換器 1でデジタル音声に変換さ れて SB- ADPCM符号化部 2に送られる。
そこで、 バッファ判定部 44で決定された割当レー トにより. SB - ADPCM 2の符号化出力の選択を行い、 必要数の音声ビッ ト 切り捨てを行い、 切り捨てられた部分に映像データを割り当 て、 多重化部（MUX) 6で音声情報と映像情報と割当レー ト情 報とを多重化して伝送する。
一方、 受信側においては、 分離部（DMUX) llにおいて映像情 報と音声情報と割当レー ト情報とに分離する。
分離された音声データを SB - ADPCM復号化部 12で復号化する 際、 分離された割当レー ト情報を用いて行うことが可能とな o
このようにして第 26図及び第 27図に示すのと同様に映像情 報量の増減に伴つて音声情報量が可変となり、 より品質の優 れた映像情報を伝送することができる。
第 32図は第 31図に示したバッファ判定部 44の一実施例を示 したもので、 この実施例では可変長符号化部 42から R A Mで 構成されたバッファ 43への書込ァ ド レス Wと、 多重化部 6か らバッファ 43への読出ァ ド レス Rとを入力して以下の判定を 行う。
① W— Rく閾値 Th , のときは、 バッファ 43へのデータの書込 に対してデータの読出が進んでいない状態であるから映像情 報の発生量が大きいと判定し、 SB-ADPCM符号化部 2からの 8 ビッ ト音声符号化データのうちの高周波成分に割り当てられ た 2 ビッ トを切り捨てて低周波成分に割り当てられた 6 ビッ トの音声データのみの符号化を行うための割当レー トに関す る情報 （ 0 , 1 ) を多重化部 6へ送る。
②闔値 Th 2 > W— 1^ >闥値 Th , のときには、 映像情報の発生 量は中程度であると判定し、 SB- ADPCM符号化部 2からの 8 ビ ッ ト音声符号化データのうちの高周波成分に割り当てられた 2 ビッ トの内の 1 ビッ トを切り捨てて低周波成分に割り当て られた 6ビッ トとの計 7 ビッ トの音声データのみの符号化を 行うための割当レートに関する情報 （ 0 ， 1 ) を多重化部 6 へ送る
③閾値 Th 2 く W— Rのときには、 映像情報の発生量は少ない と判定し、 SB- ADPCM符号化部 2からの 8ビッ ト音声符号化デ 一は削ることなく符号化を行うための割当レー トに関する情 報 （ 1 , 1 ) を多重化部 6へ送る。
F A S情報のビッ ト配置例が第 33図に示されており、 フ レ ーム同期 （ 1 ) は、 F A W (Frame Al i gnment Word) (第 33図 では、 "0011011")を認識することにより行い、 マルチ ♦ フレ ーム同期 （ 2 ) は、 F A S情報の第 1 ビッ トに配置されてい る情報 M i により識別し、 第 1 · 第 3 ·第 5 ·第 7 ♦ 第 9 · 第 11フ レームの情報 M i に着目し、 "001011 "のバターンによ り同期確立を行う。
第 34図には B A S情報の一例が示されており、 この B A S 情報は送信側において上記の割当レー トに基づいて音声情報 量と映像情報量との割合を設定するように生成されたもので (第 12図参照） 、 フ レーム同期確立後に受信側で各データの 分離を行うために使用する情報であり、 データ分離の処理変 更単位は、 1マルチ · フレーム毎又は 1 サブ - マルチフ レー 厶毎 （ 1 マルチフ レーム = 2 サブ · マルチフ レーム） に行い. 又、 B A S情報は、 1サブ * マルチフ レーム毎に判定を行い. 第 12図に示すように、 B A S情報の変化が分離部 11で多数決 ( 8 フ レーム中、 5 フ レーム以上が一致すること） により認 識された時点で次のマルチフレーム又はサブ · マルチフ レー ム内の音声 Z映像データの分離位置を認識することが可能と なる。 これは、 音声—映像の割当が変化した時点で B A S情 報も変化してしまうので、 1 フ レーム内でいずれの B A S情 報に依存すべきかを決定するためである。 尚、 音声 Z映像デ 一夕の分離単位は 80ビッ ト単位である。
次に動作の説明をすると、 上記のようなフ レームフ ォ ーマ ッ トを用いた場合の多重化部 6では、 CPU 21により第 35図に 示すように、 符号化制御部 5から出力される割当レー ト情報 に基づいた B A S情報により、 音声データを 8 ビッ トそのま ま使用する場合 （同図 （a ) )と、 1 ビッ ト切り捨てて 7 ビッ ト使用する場合 （同図 （b ) )と、 2 ビッ ト切り捨てて低周波 成分の 6 ビッ トのみ使用する場合 （同図 （c ) )とに分かれて, ビッ ト配分が決定され、 音声情報及び映像情報を RAM 27に格 納する。
そして、 第 35図のフ レームフ ォ ーマツ トが完成した時点で 伝送速度に一致したレー トでデータを伝送路 10に送出する。
従って、 第 35図における音声情報の 1 フ レーム当たりの各 ビッ ト割当による伝送速度は次のようになる。
( a ) 6 X 80 (480ビッ ト） x 100フ レーム （ 1秒間） = 48kbZ s ( b ) 7 x 80 (560ビッ ト） X 100フ レーム （ 1秒間） = 56 kbZ s ( c ) 8 x 80 (640ビッ ト） x 100フ レーム （ 1秒間） = 64k bZ s 一方、 受信側における分離部 11は第 10図に示した多重化部 6 と丁度矢印を逆方向にした形で同様の構成を有している。 即ち、 伝送路からの入力データに対して、 上述したように、 この F A S情報を解析することにより （ 1 ) Y. 221フ レーム同 期、 及び （ 2 ) マルチ · フ レーム同期を確立する。 そして B A S情報に基づいて各データを分離部 11で分離し、 分離さ れた各信号データを、 各々ィ ンタフユ一スを介して音声情報 は S B - ADPCM復号化部 12へ、 そして映像情報はバッフ ァ 143 及 び可変長復号化部 142 へ送る。
ここで、 分離された音声情報は伝送路ク ロ ッ ク （ 8 kHz , 64k Hz)に同期したタイ ミ ングで第 36図に示すように音声割り 当てビッ ト数に応じてデータを出力する必要があり、 この為、 音声情報は、 B A S情報に含まれた上記の割当レー ト情報に 基づき SB- ADPCM復号化部 12で復号化され D Z A変換器 13でァ ナログ信号として出力されると共に、 映像情報はバッファ 143 から可変長復号化部 U2 で復合化され、 映像復号化部 141 で 復号化され D Z A変換器 15でアナ口グ映像信号に変換されて 出力される。
以上の i兑明では、 適応音声符号化部として ADPCM- MQ方式、 SB- ADPCM方式を用いることができるが、 この他、 適応音声符 号化部と しては、 DPCM方式や、 APC - AB方式等が在り、 送信側 と受信側とで送受信方式の一致 Z不一致を確認する必要があ な o
そこで、 装置間の相互の能力を把握し、 共通の動作モー ド を探索するため、 第 37図に示すように、 I C P (イ ンチャ ネ ル接続プ口 トコ レ） 手順により、
① 電源投入後、 F A S情報によりフ レーム同期を確立す る o
② 第 38図に示すように、 64ビッ トの A C情報中の 8 ビッ トにより相互の能力、 即ち符号化方式を問い合わせる。
③ β§い合わせた結果に基づく共通の符号化方式を B A S 情報を用いて指定する。 （但し、 共通の方式が無い場合等に は、 固定符号化レー トによる通信を行うための手続きを実行 する。 ）
このようにして自動相互接続を行い、 従来装置との競合を 回避することができる。
次に音声と映像の符号化と復号化の処理速度の差に起因す る音声出力と映像出力のずれ補正する実施例について説明す 0
第 39図に原理的に示すように、 送信部 Dと受信部 Eで構成 されており送信側において、 音声入力をディ ジタル音声に変 換する A Z D変換器 1 と、 該ディ ジタル音声を符号化する音 声符号化部 2 と、 映像入力をディ ジタル映像に変換する A Z D変換器 3と、 ディ ジタル映像を符号化する映像符号化部 4 と、 映像符号化部 4の入出力情報から映像再生出力と音声再 生出力を同期させるための映像符号化遅延時間情報を発生す る遅延量演算部 31と、 符号化された映像情報及び音声情報と 遅延時間情報とを多重化する多重化部 6 と、 を備えている。
また、 受信側においては、 伝送路 10からの多重化された信 号を音声情報と映像情報と遅延時間情報とに分離する分離部 11と、 遅延時間情報に従って音声情報を遅延させる可変遅延 制御部 32と、 可変遅延制御部 32からの音声情報を復号化する 音声復号化部 12と、 復号化されたディ ジタル音声を音声信号 に変換する D Z A変換器 13と、 像情報を復号化する映像復 号化部 14と、 復号化されたディ ジタル映像出力を映像出力に 変換する D Z A変換器 15と、 を備えている。
第 39図に示す様に、 映像信号の符号化部 4での符号化処理 に要する遅延時間 （T v ： 可変量） に対し、 音声信号の符号 化部 2及び復号化部 12での固定処理遅延時間から映像信号の 復号化部 14での固定処理遅延時間を引いた固定処理遅延時間 ( T a ： 一定量） は短い為、 音声復号化部 12と映像復号化部 14とが同時に出力を発生するために可変遅延制御部 32に必要 な遅延時間 （T d ： 可変） は、 T d = T V — T aで与えられ o
従って、 遅延情報 T dは、 T aが一定である為、 T vを求 めればよいことが分かる。
このため、 本発明では、 遅延量演算部 31が映像符号化部 4 の入出力情報に基づいて符号化処理の遅延時間 T Vを演算し. この遅延時間 T Vと予め分かっている一定の遅延時間 T a と から上記の遅延時間 T dに関する情報を多重化部 6に与え、 この遅延時間情報を映像情報及び音声情報と共に多重化して 伝送する （第 40図参照） 。
一方、 受信側においては、 分離部 11でその遅延時間情報を 分離して可変遅延制御部 32に与えると、 可変遅延制御部 32は 分離された音声情報を遅延時間 T dだけ遅延させて音声復号 化部 12に与える。
このように入力映像に合わせて適応的な遅延制御を行うの で、 音声復号化出力と映像復号化出力とを一致した形で出力 することが出来る。
第 41図は第 39図に示した遅延量演算部 31の一実施例を示し たもので、 この実施例では A Z D変換器 1からの映像情報を 蓄,積するバッ フ ァ （BIJF) 2 aと、 バッ フ ァ 2 aからの映像情 報又は評価パターンをセレク ト信号に基づいて選択するセレ クタ （SEL) 2 bと、 メ モ リ 35を用いて映像情報量を検出する 映像情報量検出部 2 じ と、 上記の映像情報量を受けて評価パ ターンとセレク ト信号を発生し且つ映像符号化部 4から評価 パタ一ンを受ける演算制御部 2 dとを含んでいる。
動作においては、 濱算制御部 2 が、 例えば映像情報量検 出部 2 cの出力の変化に基づき、 時間的に隣合う映像情報量 の差 （T 1 一 T O ) が或る閾値 （T h ) 以上となった場合に、 映像符号化部 4の処理遅延時間 T v cを演算するシーケンスに 移行する
この演算に際しては、 演算制御部 2 dからセレク ト信号が セレクタ 2 bに与えられるので、 セレクタ 2 bはバッフ ァ 2 aの映像データから評価パターンに切り替えると共に評価 パタ一ンが出力されてセレクタ 2 bから映像符号化部 4に送 られる。
そして、 この評価パタ一ンを送出した時刻から評価パタ一 ンが符号化部 4から出力される迄の時間を演算することによ り処理遅延時間 T v cが演算される。
尚、 評価パターンは、 映像データに存在しないパターンを 使用する事とし、 且つ符号化部 4において評価パタ一ンが入 力された場合には、 未処理の状態で出力させるため、 実施例 としては評価パターン "00000000000000" を使用する。
また、 評価パターン送出中は、 映像データはバッ フ ァ 2 a に蓄えられており、 その読み出しは禁止される為、 映像デー タが捨てられることはない。 ，
このようにして演算された遅延時間 Tvcから、 演算制御部 2 dは更に同期を取るための遅延時間 T dを求める。 これは，
1 d = X VC + Γ V d― 1 C― i a d
から求められる。 ここで、 TVdは映像復号化遅延時間、 TaC は音声符号化遅延時間、 Tadは音声復号化遅延時間であり、 T a = TVd— TaC— Tadは映像符号化遅延時間 T VCに比べる と一定と考えることができるので、 この T aを予め求めてお く ことにより遅延時間 T dが得られ、 多重化部 6に送ること ができる。
第 42図は多重化部 6の一実施例を示したもので、 この実施 例では CPU 21と、 C P Uバス 22と、 第 2図に示すフ レームフ ォ ーマツ トで伝送路にデータを送出するための手順プログラ ムを格納した ROM 23と、 映像情報、 音声情報及び遅延量演算 部 31からの遅延時間情報をそれぞれバス 22に取り込むための イ ンタ フ ェ ース （ I ZF) 24〜26と、 これらイ ンタフヱ ース 24〜26からの映像情報、 音声情報、 及び遅延情報を一時的に 書き込むためのァ ドレス空間を有する RAM 27と、 各情報を伝 送路に送出するためのィ ンタフユ一ス 28とで構成されている, 伝送フ レームフ ォ ーマツ トは第 2図に示されるもので、 第 6図に示すように、 F A S情報は、 フ レーム情報であり、 ( 1 )Y.221フ レーム同期、 及び （ 2 ) マルチ · フ レーム同期 の同期手順により同期を確立するために使用される。 即ち、 上記 （ 1 ) によりフ レーム単位の区別ができ、 （ 2 ) により 各フ レームの識別が可能となる。 尚、 全フ レーム識別の必要 性は、 後述する B A S (Bit Allocation Signal) 情報の変化 に対する応答単位を認識する為である。
B A S情報は送信側において音声情報量と映像情報量の符 号化情報 （例えば両者の比率） を予め設定したもので、 フ レ ーム同期確立後に受信側で各データの分離を行うために使用 される。 この BA S情報は、 1サブ ' マルチフ レーム毎 （ 1 マルチフ レーム = 2サブ . マルチフ レーム） に判定される。
また、 遅延量渲算部 31からの遅延時間情報は第 43図に示す 制御情報 （AC情報） 部に DLY 0〜 7の 8フ レーム分（CODEC 機能部） を使用することにより、 先に述べた遅延時間 T dに 関する情報を指示し、 この 8ビッ トにより、 256通りの音声 遅延情報を受信側装置に送出する事が可能となる。
次に、 動作の説明をすると、 上記のようなフ レームフ ォ ー マツ トを用いた場合の多重化部 6では、 CPU 21により予め記 憶した B A S情報に従ってビッ ト配分が決定され、 音声情報 及び映像情報を RAM 27に格納する。 そして、 このときに、 遅 延量演算部 31で求めた遅延時間情報を制御情報として格納す る。 そして、 フ レームフ ォ ーマツ トが完成した時点で伝送速 度に一致したレー トでデータを伝送路 10に送出する。
一方、 受信側における分離部 11は第 42図に示した多重化部 6と丁度矢印を逆方向にした形で同様の構成を有している。 即ち、 伝送路からの入力データに対して、 上述したように、 この F A S情報を解析することにより （ 1 ) Y. 221フ レーム同 期、 及び （ 2 ) マルチ · フレーム同期を確立する。 そして、 B A S情報に基づいて各データを分離部 11で分離し、 分離さ れた各信号データを、 各々のィ ンタフェースを介して音声情 報は可変遅延制御部 32へ、 そして映像情報は映像復号化部 14 へ送る。 更に、 制御情報中の遅延時間情報も同様にして分離 し可変遅延制御部 32へ送る。
可変遅延制御部 32では、 分離部 11で分離された遅延時間情 報を受けて音声情報を遅延時間 T dだけ遅延させて音声復号 化部 12へ送る。
尚、 その他の遅延時間を決定する方法としては、 下記のよ うに予め数種類の遅延テーブルを用意し、 映像情報発生量に 応じて最も妥当な値を選択し映像符号化遅延時間 T v cとする こともできる。
くテーブル例 >
① フレーム内符号化 Γ v c = 500msec
② フレーム間符号化
( 1 ) 発生情報量大 Ί v c = 250msec
( 2 ) 発生情報量大 T v c = 200msec
( 3 ) 発生情報量大 T v c = 150msec
また、 映像符号化処理の可変遅延時間 T v 以外は固定遅延 時間として送信側の遅延量演算部 31に予め用意したが、 受信 側にも遅延量潢算部を設けて所望の遅延時間 T dを求めるよ うにしてもよい。 前述のように映像情報と音声情報の内容により伝送比率を 変える場合はこのズレは小さ くなるが、 それでもある程度は 残る。 そこで映像と音声の伝送比率を変えたうえ、 更に入力 情報に対応した遅延時間を与えて再生すれば映像と音声のよ り良いバラ ンスが保てる。
次に映像の音声に対する遅延時間を利用し、 音声の無音部 を圧縮し遅延時間に対応した時間まとめて伝送する例につい て説明する。
第 44図はこの実施例の基本構成図を示す。 図中の符号 Aは 端局、 3は映像信号に対する A Z D変換器、 41は映像符号化 部、 42は可変長符号化部、 1 は音声信号に対する A Z D変換 器、 2は音声符号化部、 6 , 11は多重 ·分離部、 9は伝送路 イ ンタフェース部、 U2は映像信号に対する可変長復号化部， 141は映像復号化部、 15は D Z A変換器、 12は音声復号化部， 13は D Z A変換器、 19はシステム制御部、 71は時分割符号化 部、 72は時分割復号化部を表している。
映像信号は、 映像符号化部 41における予測符号化処理の後 に、 可変長符号化処理が行われ、 多重 ·分離部 6 , 11に供給 される。 一方音声信号は、 音声符号化部 2において、 4 kHz 帯域 16Kbpsあるいは 7 kHz 帯域 56Kbpsにコ -ド化され、 時分 割符号化部 71において、 音声信号における無音期間を取り除 いた有効期間中のみの信号が抽出され、 バケツ ト化された上 で所望する遅延制御量 Tに略一致する期間分まとめられて多 重 ·分離部 6 , 11に供給される。
そして、 映像信号と音声信号とは多重化されて、 伝送路ィ ンタフエース部 68から対向端局に伝送される。
対向端局からの受信信号については、 多重 ·分割部 6 , 11 において、 映像信号と音声信号とに分離される。 映像信号に ついては、 可変長復号化部 142 、 映像復号化部 141 、 D / A 変換器 15をへて、 映像出力として受取られる。 また音声信号 については、 時分割復号化部 72、 音声復号化部 12、 D Z A変 換器 13をへて、 音声出力として受取られる。
時分割符号化部 71は、 音声符号化部 2からの出力にもとづ いて、 音声信号における無音期間を取り除いた有効期間の信 号を抽出してバケツ トにまとめ、 当該パケッ トにまとめられ たものを上述の遅延制御量 Tに見合う時間分まとめて、 例え ば 8 Kbps単位にて、 最小 0個ないし最大 7個分 （56Kpbs分） 多重 · 分離部 6 , 11に供給する。 そして、 時分割符号化部 71 は、 0 Kbpsないし 56Kbpsのうちのいずれの音声伝送速度に相 当するものを出力したかを、 システム制御部 19と多重 · 分離 部 6 , 11とに通知する。
この通知にもとづいて、 システム制御部 19は、 可変長符号 化部 42におけるノ ッ フ ァ · メ モ リ中のデータ量にもとづいて 映像符号化部 41における符号化処理を制御する際の閾値 （第 2の閾値） を変更する。 即ち、 音声信号の伝送量が少なく な るにつれて映像信号の伝送量を増大する。
一方、 多重 ♦分離部 6 , 11は、 上記音声信号の伝送速度を 受け取って、 多重化したフレーム ' フ ォ ーマ ッ ト上で音声信 号の伝送速度を対向端局に対して通知する情報をフレーム情 報の中に記述するようにする。 第 45図 （A ) は実施例の場合の伝送フ レーム ， フ ォ ーマツ トを表し、 第 45図 （B ) は構成フ レーム情報を説明する図で め 。
フ レーム情報には 8 Kbps分が割当られており、 当該フ レー ム情報はフ レーム · ヘッダを含むと共に、 音声伝送速度を対 向端局に通知する構成フ レーム情報をもっている。 当該構成 フ レーム情報は、 第 45図 （B ) 図示の如く、 時分割符号化部 41において 0 Kbpsないし 56Kbpsの範囲内にまとめて多重 -分 割部 6 , 11に供給した音声伝送速度を、 情報 「 0 0 0」 ない し 「 1 1 1」 の形で記述される。
本発明の場合には、 上記音声伝送速度に対応して、 第 45図 ( A ) において 「可変」 として示しているように、 音声信号 を伝送する区分として、 最小 0 Kbpsから 56Kbpsまでの区分が 割当られて伝送される。 音声信号のために a Kbpsが与えられ たとすると、 図示残余の （56— a ) Kbpsは映像信号を伝送す るために利用される。
第 46図は時分割符号化部における処理態様を示している。 図示の如き音声入力①が与えられたとするとき、 第 44図図 示の A Z D変換器 1 によってディ ジタ ル化されて A Z D出力 ②となる。 なお図示 「 1 」 ， 「 2」 ， 「 3」 は有効期間中の 信号である。 当該 A Z D出力②は図示の如く無音期間を削除 されて、 図示バケツ ト化出力③の如くまとめられる。
バケツ ト化出力③は、 図示バケツ ト情報④に示す如く、 所 定の期間 t s 毎に図示 ω , fa) . ( )… > の如く生成されるもの である。 このような情報 (ί) , (□) , ('、）…は、 上述の遅延制御暈 Tに相当する時間の間まとめられて、 図示の多重 ·分離部へ の入力データ⑤の如く、 8 Kbps分を 1つの単位として、 0個 ないし 7個分として、 多重 ·分離部 6 , 11に供給される。 こ のまとめられた《) , fa)… 》 の個数がいくつであるかによって、 上述の音声伝送速度が与えられる。 即ち 0個の場合には第 45 図 （B ) 図示の 「 0 0 0」 が生成され、 1個の場合には 「 0 0 1」 が生成され、 …， 7個の場合には 「 1 1 1 」 が生 成される。
第 47図は本発明の場合のフィ一 ドバック制御の態様を示し ている。
時分割符号化部 41において生成された音声伝送速度 （図示 の符号化速度） が、 本発明の場合閾値 2 ' の如く第 2の閾値 としてシステム制御部 19に供給される。 なお第 1の閾値は、 従来の場合と同様に固定値で与えられている。
システム制御部 19においては、 音声伝送速度 （符号化速度） にもとづいて第 47図 （B ) 図示の如く、 映像符号化部 41に対 して符号化処理の停止を指示する条件を変更する。 あるいは 量子化のテーブルを変更する。 即ち、 音声伝送速度が大であ る程、 パツ フ ァ · メ モ リ 43に蓄積されるデータがより少ない 状態の場合で上記停止を指示するようにしている。 または量 子化のテーブルをあらいものに変更する。 勿論、 その逆に、 音声伝送速度が小である程、 上記バッフ ァ · メ モ リ 43に蓄積 されるデータがより大となつた状態で上記停止が指示される。 または量子化のテーブルをよりこまかいものにすることがで きる。 図示 「制御 A」 は映像符号化部 3に対する制御信号であり， 図示 「制御 B」 は多重 ·分離部 6 , 11に対して音声伝送速度 を通知する制御信号である。
〔産業上の利用の可能性〕
本発明は映像 · 音声多重伝送システムを用いるテ レビ会議 システム等で利用されるもので、 伝送容量が充分とはいえな い比較的下位のシステムでより効果的であるが、 伝送容量が 大きい場合にも応用できる。

Claims

請 求 の 範 囲
1. 音声入力をディ ジタ ル音声に変換する AZD変換器 ( 1 ) と、
該ディ ジタル音声を符号化し、 送信量が選択可能な形をし た符号化音声として出力すると共に音声内容情報を出力する 音声符号化部 （ 2 ) と、
映像入力をディ ジタル映像に変換する AZD変換器 （ 3 ) と、
該ディ ジタル映像を符号化し符号化映像情報として出力す る映像符号化部 （4) と
該符号化音声と該符号化映像情報のすくなく とも一方の情 報量に応じて、 該符号化音声と該符号化映像の伝送比率を決 め、 割当信号として出力する符号化制御部 （ 5 ) と、 及び 該割当信号に基づく該符号化音声と該符号化映像と更に該 割当信号を含む制御情報とを一定の伝送フ レーム長になるよ うに多重化する多重化部 （ 6 ) とを具備する送信部 （B) を 有する映像 ·音声多重伝送システム。
2. 伝送路 （10) よりの符号化音声と符号化映像と割当信 号を含む制御信号とが多重化された信号を受信し、 分離する 分離部 （11) と、
該符号化音声を復号化し復号ディ ジタ ル音声にする音声復 号化部 （12) と、
該符号化映像^復号化し復号ディ ジタ ル映像にする映像復 号化部 （14) と、 該割当信号に基づいて該音声復号化部 （12) と該映像復号 化部 （14) への制御を行なう復号化制御部 （16) と、
該復号ディ ジタル音声を音声信号に変換する DZA変換器 (13) と、 及び
該復号ディ ジタル映像を映像信号に変換する DZA変換器 (15) とを具備する受信部 （C) を有する映像 · 音声多重伝 送システム。
3. 音声入力をディ ジタル音声に変換する AZD変換器 ( 1 ) と、
該ディ ジタル音声を符号化し、 送信量が選択可能な形をし た符号化音声として出力すると共に音声内容情報を出力する 音声符号化部 （ 2 ) と、
映像入力をディ ジタ ル映像に変換する AZD変換器 （ 3 ) と、
該ディ ジタ ル映像を符号化し符号化映像情報として出力す る映像符号化部 （ 4 ) と、
該符号化音声と該符号化映像情報のすくなく とも一方の情 報量に応じて、 該符号化音声と該符号化映像の伝送比率を決 め、 割当信号として出力する符号化制御部 （ 5 ) と、 及び 該割当信号に基づく該符号化音声と該符号化映像と更に該 割当信号を舍む制御情報とを一定の伝送フ レーム長になるよ うに多重化する多重化部 （ 6 ) とを具備する送信部 (B) と. 伝送路 （10) よりの符号化音声と符号化映像と割当信号を 含む制御信号とが多重化された信号を受信し、 分離する分離 部 （11) と、 該符号化音声を復号化し復号ディ ジタ ル音声にする音声復 号化部 （12) と、
該符号化映像を復号化し復号ディ ジタル映像にする映像復 号化部 （14) と、
該割当信号に基づいて該音声復号化部 （12) と該映像復号 化部 （14) への制御を行なう復号化制御部 （16) と、
該復号ディ ジタ ル音声を音声信号に変換する D Z A変換器 ( 13) と、 及び
該復号ディ ジタル映像を映像信号に変換する D Z A変換器 ( 15) とを具備する受信部 （C ) とで構成される送信内容に より音声と映像の送信比率を変えて伝送する映像 ·音声多重 伝 システム。
4. 該音声符号化部 （ 2 ) が異なる符号化ビッ ト レー トの 複数の符号化音声を出力する適応型で、 該複数の符号化音声 の 1つが該割当信号として出力される割当ビッ ト レー トに基 づいて選択される請求項の 1 に記載の映像 · 音声多重伝送シ ステム o
5. 該復号化制御部 （16) が分離された該割当信号である 該割当ビッ ト レー トに基づいて制御を行なう請求項の 2に記 載の映像 ·音声多重伝送システム。
6. 該音声符号化部 （ 2 ) が異なる符号化ビッ ト レー トの 複数の符号化音声を出力する適応型で、 該複数の符号化音声 の 1つが該割当信号と して出力される割当ビッ ト レー トに基 づいて選択され、'
該復号化制御部 （16) が分離された該割当信号である該割 当ビッ ト レー トに基づいて制御を行なう請求項の 3に記載の 映像 · 音声多重伝送システム。
7. 該音声符号化部 （ 2 ) が最適な音声ビッ ト レー ト の信 号を出力する請求項の 4に記載の映像 ·音声多重伝送システ 厶0
8. 該符号化制御部 （ 5 ) が該最適な音声ビッ ト レー トを 該割当信号としてそのまま出力する請求項の 7 に記載の映像 音声多重伝送システム。
9. 該音声符号化部 （ 2 ) が最適な音声ビッ ト レー ト の信 号を出力する請求項の 6 に記載の映像 * 音声多重伝送システ 厶0
10. 該符号化制御部 （ 5 ) が該最適な音声ビッ ト レー トを 該割当信号としてそのまま出力する請求項の 9 に記載の映像 音声多重伝送システム。
11. 該音声符号化部 （ 2 ) が該ディ ジタ ル音声を低周波ビ ッ ト部分と高周波ビッ ト部分とに分けて符号化する SB- ADPCM 符号化部で、 該割当信号により高周波ビッ ト部分の割当量を 選択する請求項の 1 に記載の映像 · 音声多重伝送システム。
12. 該音声復号化部が該割当信号に従って該符号化音声を SB- ADPCM復号化する請求項の 2 に記載の映像 · 多重伝送シス テム。
13. 該音声符号化部 （ 2 ) が該ディ ジタ ル音声を低周波ビ ッ ト部分と高周波ビッ ト部分とに分けて符号化する SB- ADPCM 符号化部で、 該割当信号により高周波ビッ ト部分の割当量を 選択し、 該音声復号化部が該割当信号に従って該符号化音声を S B - ADPCM 復号化する請求項の 3に記載の映像 * 多重伝送システ 厶。
14. 該送信部は該ディ ジタ ル映像のフ レーム間情報変化率 を求めて閾値と比較し、 判定結果を出力するフ レーム間変化 率判定部 （ 8 ) を更に具備する請求項の 1 , 3 , 6又は 9の いずれか 1項に記載の映像 · 音声多重伝送システム。
15. 該送信部は該ディ ジタル映像のフ レーム間情報変化率 を求めて闞値と比較し、 判定結果を出力する フ レーム間変化 率判定部 （ 8 ) を更に具備する請求項の 4に.記載の映像 · 音 声多重伝送システム。
16. 該送信部は該ディ ジタ ル映像のフ レーム間情報変化率 を求めて閾値と比較し、 判定結果を出力するフ レーム間変化 率判定部 （ 8 ) を更に具備する請求項の 7 に記載の映像 · 音 声多重伝送システム。
17. 該送信部は該ディ ジタル映像のフ レーム間情報変化率 を求めて閾値と比較し、 判定結果を出力するフ レーム間変化 率判定部 （ 8 ) を更に具備する請求項の 11に記載の映像 - 音 声多重伝送システム。
18. 該映像符号化部 （ 4 ) が、
該ディ ジタル映像を符号化する映像符号化部 1) と、 該符号化された映像情報を可変長符号化する可変長符号化 部 （42) と、
該可変可符号化された映像情報を一時的に蓄積するバッ フ ァ （43 ) と、 該バッ ファ （43) に蓄積された情報量に応じて蓄積量信号 を出力するバッ ファ判定部 （44〉 とで構成され、
該蓄積量信号を出力する請求項の 1 , 3 , 6又は 9のいず れか 1項に記載の映像 · 音声多重伝送システム。
19. 該映像符号化部 （ 4 ) が、
該ディ ジタル映像を符号化する映像符号化部 （41) と、 該符号化された映像情報を可変長符号化する可変長符号化 部 （42) と、
該可変可符号化された映像情報を一時的に蓄積するバッフ ァ （43) と、
該バッファ （43) に蓄積された情報量に応じて蓄積量信号 を出力するバッ フ ァ判定部 （44) とで構成され、
該蓄積量信号を出力する請求項の 4に記載の映像 · 音声多 重伝送システム。
20. 該映像符号化部 （ 4 ) が、
該ディ ジタル映像を符号化する映像符号化部 （41) と、 該符号化された映像情報を可変長符号化する可変長符号化 部 （42) と、
該可変可符号化された映像情報を一時的に蓄積するバッ フ ァ 3) と、
該バッ フ ァ （43) に蓄積された情報量に応じて蓄積量信号 を出力するバッ フ ァ判定部 （44) とで構成され、
該蓄積量信号を出力する請求項の 7 に記載の映像 * 音声多 重伝送システム。'
21. 該映像符号化部 （ 4 ) が、 該ディ ジタル映像を符号化する映像符号化部 （41) と、 該符号化された映像情報を可変長符号化する可変長符号化 部 （42) と、
該可変可符号化された映像情報を一時的に蓄積するバッフ ァ （43) と、
該バッ フ ァ （43) に蓄積された情報量に応じて蓄積量信号 を出力するバッ フ ァ判定部 （44) とで構成され、
該蓄積量信号を出力する請求項の 11に記載の映像 ·音声多 重伝送システム。
22. 該映像符号化部 （ 4 ) が、
該ディ ジタル映像を符号化する映像符号化部 （41) と、 該符号化された映像情報を可変長符号化する可変長符号化 部 （42) と、
該可変可符号化された映像情報を一時的に蓄積するバッフ ァ （43) と、
該バッファ （43) に蓄積された情報量に応じて蓄積量信号 を出力するバッ フ ァ判定部 （44) とで構成され、
該蓄積量信号を出力する請求項の 16に記載の映像 ♦ 音声多 重伝送システム。
23. 該映像符号化部 （ 4 ) が、
該ディ ジタル映像を符号化する映像符号化部 （41) と、 該符号化された映像情報を可変長符号化する可変長符号化 部 （42) と、
該可変可符号化された映像情報を一時的に蓄積するバッ フ ァ 3) と、 該バッ フ ァ （43) に蓄積された情報量に応じて蓄積量信号 を出力するバッ フ ァ判定部 （44) とで構成され、
該蓄積量信号を出力する請求項の 17に記載の映像 ♦ 音声多 重伝送システム。
24. 該符号化制御部 （5 ) が該フ レーム間変化率判定部
( 8 ) が出力する判定結果に基づいて割当信号を発生する請 求項の 15又は 17のいずれか 1項に記載の映像 · 音声多重伝送 システム。
25. 該符号化制御部 （ 5 ) が蓄積量信号に基づいて割当信 号を発生する請求項の 19又は 21のいずれか 1項に記載の映像 音声多重伝送システム。
26. 該符号化制御部 （ 5 ) がフ レーム間変化率判定結果と 最適な音声ビッ ト レー トに応じた割当信号を発生する請求項 の 16に記載の映像 * 音声多重伝送システム。
27. 該符号化制御部 （ 5 ) が蓄積量信号と最適な音声ビッ ト レー トに応じた割当信号を発生する請求項の 20又は 22のい ずれか 1項に記載の映像 ·音声多重伝送システム。
28. 該符号化制御部 （ 5 ) がフ レーム間変化率判定結果、 蓄積量信号及び最適な音声ビッ ト レー トに応じた割当信号を 発生する請求項の 22に記載の映像 · 音声多重伝送システム。
29. 該符号化制御部 （ 5 ) がフ レーム間変化率判定結果、 蓄積量信号に応じた割当信号を発生する請求項の 23に記載の 映像 * 音声多重伝送システム。
30. 該送信部 '（B) が該映像符号化部 （ 4 ) の入出力情報 から映像再生出力と音声再生出力を同期させるための遅延時 間情報を発生する遅延量演算部 （31) を更に具備し、 該遅延 時間情報も一緒に多重化部 （ 6 ) で多重化される請求項の 1 3 , 4 , 6 , 7 > 8 , 9 , 10, 11, 13, 15, 16， 17, 19, 20 21, 22又は 23のいずれか 1項に記載の映像 · 音声多重伝送シ ステム。
31. 該受信部 （B) が、 該遅延時間情報に従って該音声情 報を遅延させる可変遅延制御部 （32) を更に具備する請求項 の 2 , 3 , 5又は 12のいずれか 1項に記載の映像 · 音声多重 伝送システム。
32. 音声入力をディ ジタル音声に変換する AZD変換器 ( 1 ) と、
該ディ ジタル音声を符号化する音声符号化部 （ 2 ) と、 映像入力をディ ジタル映像に変換する AZD変換器 （ 3 ) と、
該ディ ジタル映像を符号化する映像符号化部 （ 4 ) と、 該映像符号化部 （4 ) の入出力情報から映像再生出力と音 声再生出力を同期させるための映像符号化遅延時間情報を発 生する遅延量渲算部 （31) と、 及び
該符号化された映像情報及び音声情報と該遅延時間情報と を多重化する多重化部 （ 6 ) とを具備する送信部 （D) を有 する映像 · 音声多重伝送システム。
33. 伝送路 （10) からの多重化された信号を音声情報と映 像情報と遅延時間情報とに分離する分離部 （11) と、
該遅延時間情報に従って該音声情報を遅延させる可変遅延 制御部 （32) と、 該可変遅延制御部 （32) からの音声情報を復号化する音声 復号化.部 (12) と、
該復号化されたディ ジタル音声を音声信号に変換する DZ A変換器 （13) と、 ·
該映像情報を復号化する映像復号化部 （14) と、 及び 該復号化されたディ ジタル映像出力を映像出力に変換する DZA変換器 （15) とを具備する受信部 （E) を有する映像 音声多重伝送システム。
34. 音声入力をディ ジタル音声に変換する AZD変換器 ( 1 ) と、
該ディ ジタル音声を符号化する音声符号化部 （ 2 ) と、 映像入力をディ ジタル映像に変換する AZD変換器 （ 3 ) と、
該ディ ジタル映像を符号化する映像符号化部 （4 ) と、 該映像符号化部 （4 ) の入出力情報から映像再生出力と音 声再生出力を同期させるための映像符号化遅延時間情報を発 生する遅延量演算部 （31) と、 及び
該符号化された映像情報及び音声情報と該遅延時間情 と を多重化する多重化部 （ 6 ) とを具備する送信部 （D) と、 伝送路 （10) からの多重化された信号を音声情報と映像情 報と遅延時間情報とに分離する分離部 （11) と、
該遅延時間情報に従って該音声情報を遅延させる可変遅延 制御部 （32) と、
該可変遅延制御部 （32) からの音声情報を復号化する音声 復号化部 （12) と、 該復号化されたディ ジタ ル音声を音声信号に変換する D /
A変換器 （13) と、
該映像情報を復号化する映像復号化部 （14) と、 及び 該復号化されたディ ジタ ル映像出力を映像出力に変換する
D Z A変換器 （15) とを具備する受信部 （E ) とで構成され る映像 ♦音声多重伝送システム。
35. 映像信号に対応して、 映像信号を符号化する映像符号 化部 （41) と、 符号化された結果に対して可変長符号を与え る可変長符号化部 （42) とをそなえると共に、
音声信号に対応して、 音声符号化部 （ 2 ) をそなえ、 上記可変長符号化部 （42) からの出力と上記音声符号化部 ( 2 ) に対応した出力とが多重化されて伝送されるよう構成 され、 受信側で当該伝送されたものに対して、 映像信号と音 声信号とを抽出する処理を行う映像 · 音声伝送システムにお いて、
上記音声符号化部 （ 2 ) からの出力にもとづいて、 音声の 有効期間中の信号を抽出してバケツ ト化する時分割符号化部 ( 71) をもうけると共に、
当該時分割符号化部 ( 71) が音声伝送速度をシステム制御 部 （19) に通知するよう構成され、
当該システム制御部 （19) は、 上記音声伝送速度を受け取 つて、 上記可変長符号化部 （42) 内のバッ フ ァ · メ モ リ （43) 上のデータ量に対応して上記映像符号化部 U1) の符号化量 を制御するためめ闘値データを変更するよう構成され、
上記音声伝送速度に適合したフ レーム * フ ォ ーマツ トにし たがった伝送を行うようにした映像 . 音声伝送システ厶
PCT/JP1990/000356 1989-03-16 1990-03-16 Video/audio multiplex transmission system WO1990010993A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP90904689A EP0418396B1 (en) 1989-03-16 1990-03-16 Video/audio multiplex transmission system
DE69032361T DE69032361T2 (de) 1989-03-16 1990-03-16 Video/audiomultiplexübertragungssystem

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP1/64597 1989-03-16
JP6459789 1989-03-16
JP1/66781 1989-03-18
JP1/66782 1989-03-18
JP6678289 1989-03-18
JP1/66783 1989-03-18
JP6678189 1989-03-18
JP6678389 1989-03-18
JP17845489 1989-07-11
JP1/178454 1989-07-11

Publications (1)

Publication Number Publication Date
WO1990010993A1 true WO1990010993A1 (en) 1990-09-20

Family

ID=27523853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1990/000356 WO1990010993A1 (en) 1989-03-16 1990-03-16 Video/audio multiplex transmission system

Country Status (4)

Country Link
US (1) US5231492A (ja)
EP (1) EP0418396B1 (ja)
DE (1) DE69032361T2 (ja)
WO (1) WO1990010993A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001031894A1 (fr) * 1999-10-28 2001-05-03 Matsushita Electric Industrial Co., Ltd. Terminal teleinformatique portable
WO2005064939A1 (ja) * 2003-12-25 2005-07-14 Matsushita Electric Industrial Co., Ltd. 通信装置及び通信方法
JP2007096470A (ja) * 2005-09-27 2007-04-12 Nec Corp 監視機能付き移動携帯端末およびその制御方法

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253275A (en) 1991-01-07 1993-10-12 H. Lee Browne Audio and video transmission and receiving system
US5587735A (en) * 1991-07-24 1996-12-24 Hitachi, Ltd. Video telephone
DE69222479T2 (de) * 1991-07-15 1998-04-09 Hitachi Ltd Telekonferenzendstellengerät
DE69230298T2 (de) * 1991-07-15 2000-07-20 Hitachi Ltd Telekonferenzgerät
US5706290A (en) * 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
US5355450A (en) 1992-04-10 1994-10-11 Avid Technology, Inc. Media composer with adjustable source material compression
JPH05327935A (ja) * 1992-05-25 1993-12-10 Canon Inc マルチメディア通信装置
US5623690A (en) * 1992-06-03 1997-04-22 Digital Equipment Corporation Audio/video storage and retrieval for multimedia workstations by interleaving audio and video data in data file
US5475421A (en) * 1992-06-03 1995-12-12 Digital Equipment Corporation Video data scaling for video teleconferencing workstations communicating by digital data network
DE69328399T2 (de) * 1992-09-30 2000-10-19 Hudson Soft Co Ltd Sprachdaten-Verarbeitung
AU668762B2 (en) * 1992-10-07 1996-05-16 Nec Personal Computers, Ltd Synchronous compression and reconstruction system
US5404437A (en) * 1992-11-10 1995-04-04 Sigma Designs, Inc. Mixing of computer graphics and animation sequences
EP0598295B1 (en) * 1992-11-17 1998-10-14 Matsushita Electric Industrial Co., Ltd. Video and audio signal multiplexing apparatus and separating apparatus
JP3002348B2 (ja) * 1992-11-30 2000-01-24 シャープ株式会社 画像通信システム
JPH06261017A (ja) * 1993-03-08 1994-09-16 Matsushita Electric Ind Co Ltd マルチメディア通信装置
JP3427416B2 (ja) * 1993-05-25 2003-07-14 ソニー株式会社 多重化データ分離装置および方法
KR100238133B1 (ko) * 1993-05-31 2000-01-15 윤종용 영상전화기의 화상 복구 장치 및 방법
KR100289854B1 (ko) * 1993-06-08 2001-05-15 이데이 노부유끼 인코딩 장치 및 방법
EP0739558B1 (en) * 1993-06-09 2003-04-16 BTG International Inc. Method and apparatus for multiple media digital communication system
US6738357B1 (en) 1993-06-09 2004-05-18 Btg International Inc. Method and apparatus for multiple media digital communication system
JPH0774830A (ja) * 1993-06-22 1995-03-17 Canon Inc マルチメディア情報通信装置
US5561466A (en) * 1993-06-23 1996-10-01 Nec Corporation Video and audio data multiplexing into ATM cells with no dummy cell used and ATM cell demultiplexing
US5784112A (en) * 1993-07-02 1998-07-21 Canon Kabushiki Kaisha Encoding apparatus
US5461619A (en) * 1993-07-06 1995-10-24 Zenith Electronics Corp. System for multiplexed transmission of compressed video and auxiliary data
EP0664650B1 (en) * 1993-07-12 2002-05-15 Sony Corporation Decoding method and apparatus
JP3546889B2 (ja) * 1993-08-24 2004-07-28 ソニー株式会社 多重化伝送方法および装置
JPH0779424A (ja) * 1993-09-06 1995-03-20 Hitachi Ltd 多地点映像通信装置
US5553220A (en) * 1993-09-07 1996-09-03 Cirrus Logic, Inc. Managing audio data using a graphics display controller
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
US5689641A (en) 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US6594688B2 (en) * 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US7185054B1 (en) 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
US6125398A (en) * 1993-11-24 2000-09-26 Intel Corporation Communications subsystem for computer-based conferencing system using both ISDN B channels for transmission
US5600797A (en) * 1993-11-24 1997-02-04 Intel Corporation System for identifying new client and allocating bandwidth thereto by monitoring transmission of message received periodically from client computers informing of their current status
US5524110A (en) * 1993-11-24 1996-06-04 Intel Corporation Conferencing over multiple transports
US5631967A (en) * 1993-11-24 1997-05-20 Intel Corporation Processing audio signals using a state variable
US5754765A (en) * 1993-11-24 1998-05-19 Intel Corporation Automatic transport detection by attempting to establish communication session using list of possible transports and corresponding media dependent modules
US5809237A (en) * 1993-11-24 1998-09-15 Intel Corporation Registration of computer-based conferencing system
US5673393A (en) * 1993-11-24 1997-09-30 Intel Corporation Managing bandwidth over a computer network having a management computer that allocates bandwidth to client computers upon request
US5862388A (en) * 1993-11-24 1999-01-19 Intel Corporation Interrupt-time processing of received signals
US5579389A (en) * 1993-11-24 1996-11-26 Intel Corporation Histogram-based processing of audio signals
US5949891A (en) * 1993-11-24 1999-09-07 Intel Corporation Filtering audio signals from a combined microphone/speaker earpiece
US5592547A (en) * 1993-11-24 1997-01-07 Intel Corporation Processing audio signals using a discrete state machine
US5434913A (en) * 1993-11-24 1995-07-18 Intel Corporation Audio subsystem for computer-based conferencing system
US5566238A (en) * 1993-11-24 1996-10-15 Intel Corporation Distributed processing of audio signals
US5506954A (en) * 1993-11-24 1996-04-09 Intel Corporation PC-based conferencing system
US5574934A (en) * 1993-11-24 1996-11-12 Intel Corporation Preemptive priority-based transmission of signals using virtual channels
JPH07162830A (ja) * 1993-12-10 1995-06-23 Ricoh Co Ltd テレビ会議通信装置の制御方法
US5446491A (en) * 1993-12-21 1995-08-29 Hitachi, Ltd. Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals
US6345390B1 (en) 1993-12-28 2002-02-05 Hitachi Denshi Kabushiki Kaisha Bidirectional digital signal transmission system and repeater for the same
US6009305A (en) * 1993-12-28 1999-12-28 Hitachi Denshi Kabushiki Kaisha Digital video signal multiplex transmission system
US5701581A (en) * 1993-12-28 1997-12-23 Hitachi Denshi Kabushiki Kaisha Method for bidirectionally transmitting digital video signal and digital video signal bidirectional transmission system
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
EP0661880B1 (en) * 1993-12-29 2003-03-12 Canon Kabushiki Kaisha Communications apparatus for multimedia information
JP3197766B2 (ja) * 1994-02-17 2001-08-13 三洋電機株式会社 Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ
DE4405659C1 (de) * 1994-02-22 1995-04-06 Fraunhofer Ges Forschung Verfahren zum kaskadierten Codieren und Decodieren von Audiodaten
US5598576A (en) * 1994-03-30 1997-01-28 Sigma Designs, Incorporated Audio output device having digital signal processor for responding to commands issued by processor by emulating designated functions according to common command interface
US5615401A (en) * 1994-03-30 1997-03-25 Sigma Designs, Inc. Video and audio data presentation interface
US5515107A (en) * 1994-03-30 1996-05-07 Sigma Designs, Incorporated Method of encoding a stream of motion picture data
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US6055270A (en) * 1994-04-20 2000-04-25 Thomson Cosumer Electronics, Inc. Multiplexer system using constant bit rate encoders
KR100314329B1 (ko) * 1994-04-20 2001-12-28 크리트먼 어윈 엠 일정비트율엔코더를이용하는멀티플렉서
JP3430630B2 (ja) * 1994-05-02 2003-07-28 ヤマハ株式会社 カラオケ演奏用双方向ディジタル通信システム
US6271892B1 (en) * 1994-06-02 2001-08-07 Lucent Technologies Inc. Method and apparatus for compressing a sequence of information-bearing frames having at least two media
US5528309A (en) * 1994-06-28 1996-06-18 Sigma Designs, Incorporated Analog video chromakey mixer
US5874997A (en) * 1994-08-29 1999-02-23 Futuretel, Inc. Measuring and regulating synchronization of merged video and audio data
US5603058A (en) * 1994-09-08 1997-02-11 International Business Machines Corporation Video optimized media streamer having communication nodes received digital data from storage node and transmitted said data to adapters for generating isochronous digital data streams
US5600684A (en) * 1994-09-13 1997-02-04 Kuzma; Andrew Automatic identification for digital conferencing
US5768350A (en) * 1994-09-19 1998-06-16 Phylon Communications, Inc. Real-time and non-real-time data multplexing over telephone lines
US5524141A (en) * 1994-09-22 1996-06-04 Bell Communications Research, Inc. System and method for providing directory information over a telephony network using ADSI
JPH0897929A (ja) * 1994-09-22 1996-04-12 Canon Inc 通信端末装置
US5594660A (en) * 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5818514A (en) * 1994-12-01 1998-10-06 Lucent Technologies Inc. Video conferencing system and method for providing enhanced interactive communication
KR0137701B1 (ko) * 1994-12-13 1998-05-15 양승택 엠피이지-2(mpeg-2) 시스템의 피이에스(pes) 패킷화 장치
US5821995A (en) * 1994-12-23 1998-10-13 Hitachi Denshi Kabushiki Kaisha Method and apparatus for controlling transmission of multiplexed video signals
KR100407085B1 (ko) * 1994-12-28 2004-03-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 가변비트-레이트압축방법및비디오신호인코딩장치
KR960025575A (ko) * 1994-12-30 1996-07-20 김주용 가변 비트율 오디오정보 전송장치 및 방법
US5790881A (en) * 1995-02-07 1998-08-04 Sigma Designs, Inc. Computer system including coprocessor devices simulating memory interfaces
US5854898A (en) 1995-02-24 1998-12-29 Apple Computer, Inc. System for automatically adding additional data stream to existing media connection between two end points upon exchange of notifying and confirmation messages therebetween
KR100188084B1 (ko) * 1995-05-12 1999-06-01 김광호 비디오 신호선을 이용한 오디오 데이타의 전달 장치 및 그 방법
US5751694A (en) * 1995-05-22 1998-05-12 Sony Corporation Methods and apparatus for synchronizing temporally related data streams
JP3658087B2 (ja) * 1995-07-04 2005-06-08 キヤノン株式会社 端末装置及び端末装置の制御方法
US7512698B1 (en) * 1995-07-14 2009-03-31 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
US9832244B2 (en) * 1995-07-14 2017-11-28 Arris Enterprises Llc Dynamic quality adjustment based on changing streaming constraints
JPH11511313A (ja) * 1995-08-16 1999-09-28 スターガイド デジタル ネットワークス，インコーポレイティド 音声信号および映像信号伝送用の帯域幅の動的割当て方法
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
GB9603582D0 (en) 1996-02-20 1996-04-17 Hewlett Packard Co Method of accessing service resource items that are for use in a telecommunications system
JP3184083B2 (ja) * 1995-12-15 2001-07-09 日本電気株式会社 チャネル多重分離方法およびチャネル多重分離装置
US5729535A (en) * 1995-12-29 1998-03-17 Lsi Logic Corporation Method and apparatus for adapting a computer for wireless communications
US5719511A (en) * 1996-01-31 1998-02-17 Sigma Designs, Inc. Circuit for generating an output signal synchronized to an input signal
US6694480B1 (en) * 1996-03-27 2004-02-17 Ntt Mobile Communications Network Inc. Receiving apparatus, receiving method, transmission system and transmission method
US6069890A (en) 1996-06-26 2000-05-30 Bell Atlantic Network Services, Inc. Internet telephone service
US6154445A (en) 1996-04-18 2000-11-28 Bell Atlantic Network Services, Inc. Telephony communication via varied redundant networks
US5943648A (en) * 1996-04-25 1999-08-24 Lernout & Hauspie Speech Products N.V. Speech signal distribution system providing supplemental parameter associated data
US5818468A (en) * 1996-06-04 1998-10-06 Sigma Designs, Inc. Decoding video signals at high speed using a memory buffer
US6128726A (en) 1996-06-04 2000-10-03 Sigma Designs, Inc. Accurate high speed digital signal processor
US6898620B1 (en) 1996-06-07 2005-05-24 Collaboration Properties, Inc. Multiplexing video and control signals onto UTP
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
US5928330A (en) * 1996-09-06 1999-07-27 Motorola, Inc. System, device, and method for streaming a multimedia file
US6078582A (en) 1996-12-18 2000-06-20 Bell Atlantic Network Services, Inc. Internet long distance telephone service
US6137869A (en) 1997-09-16 2000-10-24 Bell Atlantic Network Services, Inc. Network session management
US6574216B1 (en) 1997-03-11 2003-06-03 Verizon Services Corp. Packet data network voice call quality monitoring
CN100525443C (zh) * 1997-03-17 2009-08-05 松下电器产业株式会社 发送和接收动态图像数据的方法及其设备
US6292479B1 (en) 1997-03-19 2001-09-18 Bell Atlantic Network Services, Inc. Transport of caller identification information through diverse communication networks
US6870827B1 (en) 1997-03-19 2005-03-22 Verizon Services Corp. Voice call alternative routing through PSTN and internet networks
KR100438693B1 (ko) 1997-06-04 2005-08-17 삼성전자주식회사 음성및영상다중전송시스템
JPH11150711A (ja) * 1997-11-17 1999-06-02 Nec Corp ビデオ会議データ転送装置
JPH11202900A (ja) * 1998-01-13 1999-07-30 Nec Corp 音声データ圧縮方法及びそれを適用した音声データ圧縮システム
JPH11331248A (ja) * 1998-05-08 1999-11-30 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに提供媒体
US6195024B1 (en) 1998-12-11 2001-02-27 Realtime Data, Llc Content independent data compression method and system
US6624761B2 (en) 1998-12-11 2003-09-23 Realtime Data, Llc Content independent data compression method and system
JP2000181448A (ja) * 1998-12-15 2000-06-30 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに提供媒体
US6687770B1 (en) 1999-03-08 2004-02-03 Sigma Designs, Inc. Controlling consumption of time-stamped information by a buffered system
US6490250B1 (en) * 1999-03-09 2002-12-03 Conexant Systems, Inc. Elementary stream multiplexer
US6604158B1 (en) 1999-03-11 2003-08-05 Realtime Data, Llc System and methods for accelerated data storage and retrieval
US6601104B1 (en) 1999-03-11 2003-07-29 Realtime Data Llc System and methods for accelerated data storage and retrieval
AUPQ217399A0 (en) * 1999-08-12 1999-09-02 Honeywell Limited Realtime digital video server
US6697343B1 (en) * 1999-08-26 2004-02-24 Lucent Technologies Inc. Method and apparatus for controlling power for variable-rate vocoded communications
GB0000874D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Latency handling for interconnected devices
US20030191876A1 (en) 2000-02-03 2003-10-09 Fallon James J. Data storewidth accelerator
US20010047473A1 (en) 2000-02-03 2001-11-29 Realtime Data, Llc Systems and methods for computer initialization
DE10007579A1 (de) * 2000-02-21 2001-09-20 Siemens Ag Verfahren und Vorrichtung zum Codieren eines Videosignals und eines Sprachsignals, computerlesbares Speichermedium sowie Computerprogramm-Element
CN1267966C (zh) 2000-03-31 2006-08-02 皇家菲利浦电子有限公司 放电灯
US6654956B1 (en) 2000-04-10 2003-11-25 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
US7072336B2 (en) * 2000-05-26 2006-07-04 Nortel Networks Limited Communications using adaptive multi-rate codecs
TW519840B (en) * 2000-06-02 2003-02-01 Sony Corp Image coding apparatus and method, image decoding apparatus and method, and recording medium
KR100496092B1 (ko) * 2000-07-21 2005-06-17 마츠시타 덴끼 산교 가부시키가이샤 신호 송신 장치 및 신호 수신 장치
US8692695B2 (en) 2000-10-03 2014-04-08 Realtime Data, Llc Methods for encoding and decoding data
US9143546B2 (en) 2000-10-03 2015-09-22 Realtime Data Llc System and method for data feed acceleration and encryption
US7417568B2 (en) 2000-10-03 2008-08-26 Realtime Data Llc System and method for data feed acceleration and encryption
KR100903457B1 (ko) 2000-11-29 2009-06-18 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 실시간 데이터 송수신 방법 및 장치
US20020163598A1 (en) * 2001-01-24 2002-11-07 Christopher Pasqualino Digital visual interface supporting transport of audio and auxiliary data
JP3895115B2 (ja) * 2001-02-01 2007-03-22 ソニー株式会社 データ伝送方法、データ送信装置、およびデータ受信装置
US7386046B2 (en) 2001-02-13 2008-06-10 Realtime Data Llc Bandwidth sensitive data compression and decompression
US7058087B1 (en) * 2001-05-29 2006-06-06 Bigband Networks, Inc. Method and system for prioritized bit rate conversion
US7206457B2 (en) * 2001-11-27 2007-04-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key value data of coordinate interpolator
EP1359722A1 (en) 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
US7519085B2 (en) * 2002-10-18 2009-04-14 Temic Automotive Of North America, Inc. Control unit for transmitting audio signals over an optical network and methods of doing the same
CN100367313C (zh) * 2002-11-07 2008-02-06 汤姆森许可贸易公司 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
GB0306296D0 (en) 2003-03-19 2003-04-23 British Telecomm Data transmission
KR100662360B1 (ko) 2004-10-04 2007-01-02 엘지전자 주식회사 그룹 통신 기능을 갖는 이동 통신 단말기를 이용한 데이터 통신 방법
JP4661373B2 (ja) * 2004-10-15 2011-03-30 Ｋｄｄｉ株式会社 特定メディアデータの破棄を制御する送信装置及び送信プログラム
US8948309B2 (en) * 2005-07-26 2015-02-03 Broadcom Corporation Method and system for redundancy-based decoding of video content in a wireless system
US7378540B2 (en) * 2005-10-21 2008-05-27 Catalytic Distillation Technologies Process for producing organic carbonates
US20070237176A1 (en) * 2006-03-30 2007-10-11 Sbc Knowledge Ventures L.P. System and method for enhancing data speed over communication lines
JP4831351B2 (ja) * 2007-02-01 2011-12-07 日本電気株式会社 映像音声帯域制御システム及び映像音声帯域制御方法
US7788395B2 (en) * 2007-02-14 2010-08-31 Microsoft Corporation Adaptive media playback
US8249141B1 (en) * 2007-07-13 2012-08-21 Sprint Spectrum L.P. Method and system for managing bandwidth based on intraframes
US8238538B2 (en) 2009-05-28 2012-08-07 Comcast Cable Communications, Llc Stateful home phone service
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
WO2014174760A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 行動解析装置、行動解析方法および行動解析プログラム
US11638050B1 (en) * 2019-12-09 2023-04-25 Amazon Technologies. Inc. Managing video encoders utilizing IoT-based communications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61159883A (ja) * 1985-01-08 1986-07-19 Nippon Telegr & Teleph Corp <Ntt> 狭帯域音声動画像送受信装置
JPS62226781A (ja) * 1986-03-28 1987-10-05 Toshiba Corp 電子会議システムにおける静止画情報伝送方式
JPH0227887A (ja) * 1988-07-18 1990-01-30 Mitsubishi Electric Corp 画像伝送装置
JPH06315559A (ja) * 1991-11-01 1994-11-15 Sanyo Bussan Kk パチンコ機の発射レール装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5523603A (en) * 1978-06-22 1980-02-20 Nec Corp Method and apparatus for coding and decoding of telephone signal
US4665431A (en) * 1982-06-24 1987-05-12 Cooper J Carl Apparatus and method for receiving audio signals transmitted as part of a television video signal
US4541008A (en) * 1982-12-27 1985-09-10 Jones Futura Foundation, Ltd. Television signal bandwidth reduction using variable rate transmission
GB2151436A (en) * 1983-12-09 1985-07-17 Philips Electronic Associated Duplex speech transmission method and a system therefor
JPS61198941A (ja) * 1985-02-28 1986-09-03 Fujitsu Ltd 転送速度可変形音声デ−タ多重方式
US4831636A (en) * 1985-06-28 1989-05-16 Fujitsu Limited Coding transmission equipment for carrying out coding with adaptive quantization
JPS62266959A (ja) * 1986-05-14 1987-11-19 Mitsubishi Electric Corp テレビ会議装置
JPS6315559A (ja) * 1986-07-08 1988-01-22 Toshiba Corp 電子会議システム
JPS63252083A (ja) * 1987-04-09 1988-10-19 Nec Corp 画像符号化伝送装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61159883A (ja) * 1985-01-08 1986-07-19 Nippon Telegr & Teleph Corp <Ntt> 狭帯域音声動画像送受信装置
JPS62226781A (ja) * 1986-03-28 1987-10-05 Toshiba Corp 電子会議システムにおける静止画情報伝送方式
JPH0227887A (ja) * 1988-07-18 1990-01-30 Mitsubishi Electric Corp 画像伝送装置
JPH06315559A (ja) * 1991-11-01 1994-11-15 Sanyo Bussan Kk パチンコ機の発射レール装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001031894A1 (fr) * 1999-10-28 2001-05-03 Matsushita Electric Industrial Co., Ltd. Terminal teleinformatique portable
WO2005064939A1 (ja) * 2003-12-25 2005-07-14 Matsushita Electric Industrial Co., Ltd. 通信装置及び通信方法
JP2007096470A (ja) * 2005-09-27 2007-04-12 Nec Corp 監視機能付き移動携帯端末およびその制御方法

Also Published As

Publication number Publication date
DE69032361T2 (de) 1998-10-29
EP0418396A1 (en) 1991-03-27
EP0418396A4 (en) 1993-05-26
DE69032361D1 (de) 1998-07-09
US5231492A (en) 1993-07-27
EP0418396B1 (en) 1998-06-03

Similar Documents

Publication Publication Date Title
WO1990010993A1 (en) Video/audio multiplex transmission system
FI106998B (fi) Bittinopeuden ohjaus multimedialaitteessa
US5617145A (en) Adaptive bit allocation for video and audio coding
US8724763B2 (en) Method and apparatus for frame-based buffer control in a communication system
US5677969A (en) Method, rate controller, and system for preventing overflow and underflow of a decoder buffer in a video compression system
US8195470B2 (en) Audio data packet format and decoding method thereof and method for correcting mobile communication terminal codec setup error and mobile communication terminal performance same
JP2002100994A (ja) 媒体ストリームのスケーラブル符号化方法、スケーラブルエンコーダおよびマルチメディア端末
JP2012194574A (ja) 符号化方法、装置及び機器、及び復号化方法
US8787490B2 (en) Transmitting data in a communication system
US7522665B2 (en) Mobile terminal with camera
US6038529A (en) Transmitting and receiving system compatible with data of both the silence compression and non-silence compression type
US6324188B1 (en) Voice and data multiplexing system and recording medium having a voice and data multiplexing program recorded thereon
US5897615A (en) Speech packet transmission system
KR20020082698A (ko) 가변 비트레이트를 적용한 디지털 방송 송신장치 및 그방법, 비디오 데이타 부호화장치 및 그 방법 그리고방송신호의 복호화 시스템 및 그 방법
JP2523995B2 (ja) 映像・音声多重伝送システム
JP3999204B2 (ja) ディジタル回線伝送装置
JP4050961B2 (ja) パケット型音声通信端末
JP2001308919A (ja) 通信装置
JP2003116133A (ja) 動画像圧縮符号化伝送品質制御方式および方法
JP4579379B2 (ja) 制御装置及び制御方法
JP4597360B2 (ja) 音声復号装置及び音声復号方法
JPH06216779A (ja) 通信装置
JPH02246432A (ja) 映像・音声多重化方式
JPH10313315A (ja) 音声セルゆらぎ吸収装置
JPH08340314A (ja) 通信装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1990904689

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1990904689

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1990904689

Country of ref document: EP